(57)【特許請求の範囲】
【請求項１】
予め定められた手順に従って圧縮処理された動画像を所定サイズのセグメント単位で伸張処理する画像伸張装置であって、前記セグメントは、処理されるべきデータを含むデータブロックと、前記データブロックの属性を示す情報を有するヘッダとを有し、
前記動画像情報を示すビットストリームを受け、前記セグメントのヘッダの情報を解析し、次に実行されるべき処理を示す解析結果情報を生成するヘッダ復号手段と、
前記ヘッダ復号手段からの前記セグメントのヘッダの情報解析完了を示す信号に応答して、データ処理開始指示信号を発生する制御手段と、
前記データ処理開始指示信号に応答して起動され、前記セグメントのヘッダに続くデータブロックに対して前記ヘッダ復号手段から生成された解析結果情報に応じた処理を実行するデータ処理手段とを備え、
前記ヘッダ復号手段は、各データブロックに続いて与えられるヘッダの情報を該先行のデータブロックに続いて連続して解析し、これにより、前記ヘッダ復号手段および前記データ処理手段の処理動作における１つの単位処理区間は、データブロックの処理に始まり、該データブロックに続くヘッダの解析で終了する、画像伸張装置。
【請求項２】
前記ヘッダ復号手段からの前記ヘッダの解析結果情報に従って前記単位処理区間の時間期間を変更する手段をさらに含む、請求項１記載の画像伸張装置。
【請求項３】
前記圧縮処理された動画像は予測符号化処理を受けた画素データからなり、前記データ処理手段は、前記データブロックのデータを前記圧縮処理と逆の伸張処理を行ってもとの画素データを復元する手段を含み、
前記制御手段は、前記単位処理区間内で前記データ処理開始指示信号に応答して、外部に設けられた記憶装置への前記データ処理手段からの復元された画素データの格納、前記ビットストリームの前記記憶装置への書込、前記記憶装置からの復元された画素データのうち表示すべき画素データの読出、および前記データ処理手段における画素データの復元に必要とされる予測画像データの読出を順次所定の順序で実行する手段を含む、請求項１記載の画像伸張装置。
【請求項４】
前記データ処理手段は、前記セグメントを処理単位としてパイプライン的に処理動作する複数のパイプラインステージを含む、請求項１記載の画像伸張装置。
【請求項５】
前記複数のパイプラインステージは、
予測画像データの記憶装置からの読込、データブロックの直交変換係数の可変長復号化およびその逆量子化を行う第１のパイプラインステージと、前記読込まれた予測画像画素データから予測画像を作成する第２のパイプラインステージと、前記逆量子化された画素データの逆直交変換処理および前記予測画像画素データと前記逆直交変換処理された画素データとから前記画素データの復元を行う第３のパイプラインステージと、前記復元された画素データの前記記憶装置への書込を行う第４のパイプラインステージとを含む、請求項４記載の画像伸張装置。
【請求項６】
前記ヘッダ復号手段および前記第１のパイプラインステージのいずれかの処理においてエラーが検出されたとき、該エラーを示すエラー検出信号を発生する手段と、
前記エラー検出信号に応答して、前記データ処理手段における処理の順序において該エラーが検出されたセグメントより前に位置するセグメントのデータブロックから所定のエラー修復処理を前記複数のパイプラインステージにおいて施す手段をさらに備える、請求項５記載の画像伸張装置。
【請求項７】
所定の手順に従って圧縮処理された動画像を所定サイズのセグメント単位で伸張処理して圧縮前の画像画素データを復元するための画像伸張装置であって、前記圧縮処理された動画像は可変長符号化され、かつ前記セグメントは、画素データを含むデータブロックと、前記データブロックの属性を示すヘッダとを有し、
与えられたビットストリームに含まれるセグメントのヘッダに含まれる情報を解析する解析手段と、
該解析されたヘッダに続くデータブロックのデータに前記解析手段からの解析結果を示す情報に応じた処理を施して該データブロックのデータをもとの画像データに復元するデータ処理手段と、
画像伸張処理の初期化を要求するリセット要求信号に応答して、前記解析手段を起動する起動信号を発生する手段と、
前記起動信号に応答して、外部から与えられるビットストリームにおいて所定のパターンを有するコードを探索する手段と、
前記探索手段による前記コードの検出に応答して、前記解析手段を活性化する手段と、
前記解析手段からの前記ヘッダの情報の解析完了指示信号に応答して、前記リセット要求に対して予め設定された処理開始のための条件が成立するまで該ヘッダに続くデータブロックの前記データ処理手段による処理実行を待ち合わせる手段とを含む、画像伸張装置。
【請求項８】
前記処理開始のための条件は、外部から与えられる画像の開始時点を示す同期信号の印加である、請求項７記載の画像伸張装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、圧縮処理された画像データを伸張処理して圧縮前の画像データを復元する画像伸張装置に関し、特に、直交変換およびフレーム／フィールド間予測符号化を用いる動画像圧縮方式に従って圧縮処理された画像データを伸張処理する動画像伸張装置に関する。
【０００２】
【従来の技術】
膨大なデータ量を含む画像データを高能率で符号化することにより、データ量を低減して伝送し、この高能率符号化された画像データを復号することにより、もとの画像を復元する方式が提案されている。このような画像データの処理方式の１つに、動画像を対象とするＭＰＥＧ（Moving Picture Experts Group）規格がある。このＭＰＥＧ規格の画素データの符号化方式は、この分野においてはよく知られているが、本発明の背景の理解を容易にするために、まず簡単にＭＰＥＧ準拠の画像データの復号化方式について説明する。
【０００３】
図２７は、一般的なＭＰＥＧ準拠動画像データ符号化装置の構成を概略的に示す図である。図２７において、符号化装置は、入力画素データと予測画像の対応の画素データ（参照画素データ）との差分を求める減算器１０００と、減算器１０００の出力する信号（予測誤差信号）に直交変換処理の１つである離散コサイン変換（ＤＣＴ）処理を施すＤＣＴ変換器１００２と、ＤＣＴ変換器１００２の出力する信号（ＤＣＴ係数）を量子化する量子化器１００４とを含む。
【０００４】
後に詳細に説明するが、画像には、Ｉピクチュア、ＰピクチュアおよびＢピクチュアなどの種類が存在し、画像の種類に応じて用いられる予測方式が異なる。Ｉピクチュアは、フレーム内またはフィールド内符号化され、入力画素データそのものが符号化される。Ｐピクチュアは過去の再生画像からのフレーム間またはフィールド間予測符号化処理を受ける画像である。Ｂピクチュアは、過去の再生画像および未来のいずれかまたは両方の再生画像両方の画像（フレームまたはフィールド）を用いて予測を行なう画面である。このＢピクチュアは、ＩピクチュアおよびＰピクチュアを用いて予測符号化される。Ｂピクチュアは参照画像としては用いられない。
【０００５】
フレーム間またはフィールド間予測を行なう場合には、動き補償が行なわれる。現画像のブロック（処理単位となるセグメント）に最も相関性の高い予測画像におけるブロックを求め、この最も相関性の高いブロックを用いて予測符号化を行なう。この現画像ブロックと予測画像ブロックとの位置のずれは動きベクトルとして求められて、各画素データブロックに付されて伝送時に送信される。動き補償は、通常、１６画素×１６画素のブロック（セグメント）を単位として実行される。
【０００６】
ＤＣＴ変換器１００２は、通常、８画素×８画素のブロックを単位としてＤＣＴ変換処理を実行する。ＤＣＴ変換処理を施すことにより、画像における空間的な冗長性（隣接画素間の高い相関性）を低減する。すなわち、このＤＣＴ変換器１００２においてＤＣＴ変換処理を施すことにより、このＤＣＴ係数を低域係数領域に偏在させることができ、次段の逆量子化器の処理による画像データ量の削減を可能にする。
【０００７】
量子化器１００４は、量子化テーブル１０１２を参照して、このＤＣＴ変換器１００２からのＤＣＴ係数の量子化を行なう。量子化テーブル１０１２において、高周波成分に対しては大きな値が設定される。この量子化テーブル１０１２を参照して、量子化器１００４においてＤＣＴ変換部１００２からのＤＣＴ係数を量子化することにより、空間周波数における水平および垂直方向ともに低域成分を大きくし、かつ高域成分をほとんど“０”とすることができる。これにより、データ量を低減する。
【０００８】
符号化装置はさらに、量子化器１００４からの量子化データを所定の順序でジグザグ態様で並べ変えるジグザグスキャン器１００６と、ジグザグスキャン器１００６からのデータを可変長符号化する可変長符号化器１００８と、可変長符号化器１００８からの可変長符号化データおよび図示しない動きベクトル検出器からの動きベクトル情報および他のブロックの属性を示す情報とを受け、所定のフォーマットに従って動きベクトル情報および属性情報を可変長符号化処理してかつ誤り符号語などを付加して出力する伝送符号化回路１０１０を含む。
【０００９】
ジグザグスキャン器１００６は、図２７にそのジグザグスキャン器１００６の左側のブロック１０１５に示すように、８×８個のＤＣＴ係数を図２７の左上から順次右下（すなわち高域成分領域）へ向かってジグザグに進むようにＤＣＴ係数を並べ変える。図２７の、ＤＣＴ係数ブロック１０１５に示されるＤＣＴ係数のうち最も左上のＤＣＴ係数は、ＤＣ係数と呼ばれ、８画素×８画素のブロックデータの平均値を示し、残りのＤＣＴ係数はＡＣ係数と呼ばれる。ジグザグスキャン器１００６によりＤＣＴ係数をジグザグスキャンすることにより、非０係数を効率的に捕捉する。可変長符号化器１００８は、このジグザグスキャン器１００６からの量子化されたＤＣＴ係数を順に、先行する０係数（無効係数）の個数（ラン）と非０の係数（有効係数）の値（レベル）とをまとめて２次元可変長符号化を行なう。この可変長符号化器１００８は、たとえばハフマン符号に従って展開された符号化テーブル１０１４を用いてジグザグスキャン器１００６からの量子化ＤＣＴ係数データを可変長符号化する。量子化されたＤＣＴ係数においては、高域成分には、“０”が多く存在し、低域成分に有効係数が多く存在する。この有効係数に対し短い長さの符号を割当て、かつ出現頻度の少ない量子化係数に符号長の長い符号を割当てることにより、データ量をさらに低減する。
【００１０】
図２８は、図２７に示す伝送符号化回路１０１０から伝送される画像の配列の一例を示す図である。図２８において、ピクチュア番号１ないし１３が付された１３枚の画像が示される。ピクチュア番号１および１３の画像は、Ｉピクチュアであり、ピクチュア番号４、７および１０の画像がＰピクチュアである。ＩピクチュアとＰピクチュアの間またはＰピクチュアとＰピクチュアの間に２つのＢピクチュアが挿入される。Ｉピクチュアは、フレーム内符号化処理のみが行なわれ、予測符号化は行なわれない画像である。Ｐピクチュアはフレーム間またはフィールド間予測符号化（動き補償付）処理される画像であり、Ｂピクチュアは一例として双方向予測符号化（動き補償付）画像である。Ｉピクチュア（Ｉ）、Ｐピクチュア（Ｐ）およびＢピクチュア（Ｂ）はフィールド画像であってもよく、またフレーム画像であってもよい。このＢピクチュア（Ｂ）の予測においては、たとえば時間的に前および後のＩピクチュアおよびＰピクチュアまたはＰピクチュアおよびＰピクチュアを用いて内挿処理が行なわれる。Ｐピクチュアは、時間的に前のＩピクチュア（Ｉ）またはＰピクチュア（Ｐ）を用いて予測符号化（動き補償付）処理が行なわれる。ＩピクチュアおよびＰピクチュアのみが予測画像として用いられ、Ｂピクチュア（Ｂ）は予測画像としては用いられない。
【００１１】
図２９は、１つの画像の構成を示す図である。図２９において、１枚の画像（フィールドまたはフレーム）１０２０は、複数のマクロブロックと呼ばれるセグメントに分割される。図２９においては、簡単化のために、画像１０２０は３２個のマクロブロックＭＢ＃１〜ＭＢ＃３２に分割される構成が一例として示される。動画像の処理は、このマクロブロックと呼ばれるセグメントを単位として実行される（符号化処理および復号化処理いずれも）。マクロブロックＭＢ＃１〜ＭＢ＃３２の各々は、通常、水平方向１６画素および垂直方向１６画素に配列される２５６個の画素を含む。したがって、図２９に示す画像は、１２８画素×６４画素で構成される。
【００１２】
図３０は、画像データのビットストリーム（複数ビット幅）の構成（シンタクス）を概略的に示す図である。図３０において、ビットストリームは複数のレイヤに分割される。上位から、シーケンスレイヤ、ＧＯＰ（グループ・オブ・ピクチュア）レイヤ、ピクチュアレイヤ、スライスレイヤ、マクロブロックレイヤ、およびブロックレイヤである。
【００１３】
ブロックレイヤは、ＤＣＴ係数を含む領域１１００ａと、ブロックの終了を示すエンド・オブ・ブロック（ＥＯＢ）を格納する領域１１００ｂを含むブロック１１００で構成される。ＤＣＴ係数データを格納する領域１１００ａは、ＤＣＴ処理の単位となる８行・８列の画素のＤＣＴ係数データを格納する。このブロック１１００において、領域１１００ａの最終のＡＣ係数が非０係数の場合、領域１１００ｂのエンド・オブ・ブロックは用いられない場合もある。
【００１４】
マクロブロック１１００は、所定数のブロック（６個）１１００を含む。ビットストリーム上でのマクロブロックレイヤは、ブロック１１００で構成されるデータブロックと、このデータブロックのデータの属性および動きベクトル等を可変長符号化して格納するマクロブロックヘッダ１１１５を含む。
【００１５】
スライスレイヤは、画像の走査順に連結される１つまたは複数のマクロブロック１１００で構成されるスライス１１２０を含む。このスライス１１２０の先頭には、スライスの画面上垂直位置を示す情報およびこのスライスの始まりを示す所定のパターンを有するスタートコードなどの情報が格納されるスライスヘッダ１１２５が設けられる。このスライスレイヤは、各々に所定のパターンのコードが割当てられたレイヤのうちの最下層のレイヤのため、エラー発生時における再同期化の単位として用いられる。
【００１６】
ピクチュアレイヤは、複数のスライス１１２０で構成されるピクチュア（画像）１１３０を含む。このピクチュア１１３０の先頭に、ピクチュアの種類（Ｉピクチュア、Ｐピクチュア等）を示す情報およびピクチュアの開始を示すスタートコード等の情報が可変長シンボル（可変長符号語）で格納されるピクチュアヘッダ１１３５が配置される。
【００１７】
ＧＯＰレイヤは、複数のピクチュア１１３０を含むＧＯＰ１１４０を含む。このＧＯＰ（グループ・オブ・ピクチュア）１１４０に含まれるピクチュア１１３０は、１つ以上のＩピクチュアと０または複数のＰピクチュアまたはＢピクチュアを含む。ＧＯＰ１１４０の先頭には、ＧＯＰスタートコード、このＧＯＰがそれより以前のＧＯＰの画像データからの参照を必要としないことを示すフラグなどの情報を格納するＧＯＰヘッダ１１４５が配置される。
【００１８】
シーケンスレイヤは、１つあるいは複数のＧＯＰ１１４０もしくは１つまたは複数のピクチュア１１３０で構成されるシーケンス１１５０を含む。このシーケンス１１５０の先頭部には、画面のフォーマットなどをの情報を格納するシーケンスヘッダ１１５５が配置される。このシーケンスヘッダ１１５５は、シーケンス１１５０に含まれるＧＯＰ１１４０のすべて先頭に配置させることができる（シーケンスの途中からの画像の再生を許容するため）。このシーケンスヘッダ１１５５には、シーケンスの開始を示す所定のパターンを有するスタートコード、画像の水平および垂直サイズ、ピクチュアレート（画像表示速度）、ビットレートおよびその内容などの情報が格納される。
【００１９】
図３１は、ピクチュアとスライスの関係を例示する図である。図３１に示すように、１枚の画像を形成するピクチュア１１３０は、複数のスライス１１２０を含む。このスライス１１２０は、任意の長さを有することができ、画面上右端に達すると左端に戻る。
【００２０】
図３２は、マクロブロック１１１０のデータブロックの構成を示す図である。マクロブロック１１１０は、マクロブロックを４分割した領域Ｙ１〜Ｙ４それぞれに対するＤＣＴ係数データを格納する領域１１００ａａ〜１１００ａｄと、サブサンプリングされた色差信号Ｃｂ５およびＣｂ６をそれぞれ含むブロック１１００ａｅおよび１１００ａｆを含む。色差ブロック１１００ａｅおよび１１００ａｆは、垂直および水平方向にサブサンプリングされているため、４つの輝度ブロック１１００ａａ〜１１００ａｄと１つの色差ブロック１１００ａｅ（または１１００ａｆ）が画面上で同じ大きさとなる。動き補償は１６画素×１６画素のマクロブロック１１１０（ＭＢ）を単位として実行され、ＤＣＴ変換処理は８画素×８画素のブロックを単位として実行される。
【００２１】
図３３は、従来の画像伸張装置の構成の一例を概略的に示す図である。この図３３に示す画像伸張装置は、先に図２７に示した符号化装置により符号化された画像データを伸張処理してもとの画像データを復元する。
【００２２】
図３３において、画像伸張装置１２００は、入来するビットストリーム（複数ビット幅）を受けて外部メモリ１２３０へＦＩＦＯ（ファーストイン・ファーストアウト）態様で格納しかつ読出すＦＩＦＯインタフェース１２１０と、ＦＩＦＯインタフェース１２１０を介して与えられる画素データをセグメント（マクロブロック）単位で可変長復号処理して固定長データの量子化されたＤＣＴ係数データ（量子化インデクス）を生成する可変長符号復号化器１２１２と、可変長符号復号化器１２１２から出力されたデータを逆量子化してＤＣＴ係数データを生成する逆量子化器１２１４と、逆量子化器１２１４の出力データの配列順序を入れ換えて走査順に配列されたＤＣＴ係数データを生成するスキャン変換器１２１６と、このスキャン変換器１２１６の出力データに逆直交変換の１つである逆離散コサイン変換を実行する逆離散コサイン変換器１２１８と、この逆離散コサイン変換器１２１８の出力する画素データ（差分データ）とメモリインタフェース１２２４を介して外部メモリ１２３０から与えられる予測画像画素データとを受けてもとの画素データを復元する画素再構成器１２２０を含む。
【００２３】
ＦＩＦＯインタフェース１２１０は、メモリインタフェース１２２４を介して外部メモリ１２３０へアクセスし、入来するビットストリームをＦＩＦＯ態様で格納読出することにより、入来するビットストリームのバッファ処理を行ない、入来するビットストリームのビットレートと画像伸張装置１２００におけるデータ処理速度との差を解消する。
【００２４】
可変長符号復号化器１２１２は、ＦＩＦＯインタフェース１２１０を介して与えられるビットストリームから、各レイヤのヘッダを検出し、その検出したヘッダの解析を行ない、該解析結果に従って各ブロック（マクロブロックに含まれるブロック）のデータ処理を実行する。したがってこの可変長符号復号化器１２１２は、ヘッダの解析機能と、量子化されたＤＣＴ係数の可変長符号復号化処理を実行する。この可変長符号復号化処理は、可変長符号化されたランレングスデータから固定長の量子化された量子化ＤＣＴ係数を復元する処理を含む。
【００２５】
逆量子化器１２１４は、この可変長符号復号化器からの量子化されたＤＣＴ係数を図示しない量子化テーブル（量子化マトリクス）の量子化データを用いて逆量子化を行なってＤＣＴ係数を復元する。この量子化マトリクスは、また可変長符号復号化器１２１２を介して逆量子化器１２１４に含まれる量子化テーブルに書込まれることもある。
【００２６】
スキャン変換器１２１６は、この逆量子化器１２１４から与えられる図２７に示すジグザグスキャンされたＤＣＴ係数データを受け、そのスキャン順序をもとの走査順序に再配列する。逆離散コサイン変換器１２１８は、スキャン変換器１２１６から与えられたＤＣＴ係数データに逆離散コサイン変換処理を施して予測符号化されたデータを復元する。画素再構成器１２２０は、可変長符号復号化器からの動きベクトルデータおよびマクロブロック属性データに従って必要とされる予測画像画素データをメモリインタフェース１２２４を介して外部メモリ１２３０から読出し、読出した画素データと逆離散コサイン変換器１２１８から与えられた差分画素データとの加算を行なってもとの画素データを再構成し、もとの画素データを復元して外部メモリ１２３０へメモリインタフェース１２２４を介して格納する。
【００２７】
この画素再構成器１２２０における処理は、Ｉピクチュア、ＰピクチュアおよびＢピクチュアそれぞれに応じて異なる。Ｉピクチュアのようにフレーム内符号化を行なう画像の画素データの場合、逆離散コサイン変換器１２１８から与えられた画素データは、画像データそのものであり、予測符号化は行なわれていないため、画素再構成器１２２０は、この逆離散コサイン変換器１２１８から与えられた画素データをメモリインタフェース１２２４を介して外部メモリ１２３０へ書込む。ＰピクチュアおよびＢピクチュアのようなフレーム間またはフィールド間予測符号化が行なわれる画像データの場合、この逆離散コサイン変換器１２１８から画素再構成器１２２０へ与えられた画素データは、既に復号された画像データ（予測画像データ）との差分で与えられる予測誤差信号である。したがってこの場合には、画素再構成器１２２０はメモリインタフェース１２２４を介して外部メモリ１２３０から対応の予測画像画素データと逆離散コサイン変換器１２１８からの画素データと加算し、該加算結果を再びメモリインタフェース１２２４を介して外部メモリ１２３０へ書込む。
【００２８】
外部メモリ１２３０へ書込まれた画像データはメモリインタフェース１２２４を介してラスタ走査順に読出されて画素バスインタフェース１２２２を介して図示しない画像表示制御回路を介して表示装置へ与えられる。
【００２９】
上述の一連の処理は、符号化時と同様、セグメント単位で実行される。逆量子化器１２１４、スキャン変換器１２１６、逆離散コサイン変換器１２１８および画素再構成器１２２０は、画像データの処理を高速で行なうためにパイプライン化されている。
【００３０】
制御回路１２２６は、この外部メモリ１２３０へのアクセスの制御およびパイプラインステージの起動および停止の制御を行なう。
【００３１】
図３４は、図３３に示す外部メモリ１２３０の記憶領域を示す図である。この外部メモリ１２３０は、たとえばＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）を用いて構成され、外部から与えられるビットストリームをＦＩＦＯ態様で格納するＦＩＦＯ領域１２３２と、画素再構成器１２３０（図３３参照）において予測符号化復号（ＤＰＣＭ復号）処理に用いられる参照画像画素データを格納する参照画像領域１２３４と、図３３において図示しない表示制御回路を介して表示装置に表示される表示画像データを格納する表示画像領域１２３６を含む。ＦＩＦＯ領域１２３０は、一般に、入来するビットストリームのビットレートと画像伸張装置１２００（図３３参照）におけるデータ処理速度の差を吸収するためのレート調整用のレートバッファと呼ばれる。このＦＩＦＯ領域１２３２を用いることにより、入来するビットストリームの伝送レートがほぼ一定であるのに対し、画像伸張処理における単位時間内に必要とされる符号量が異なる（可変長符号語データを処理するため）のを補償することができる。
【００３２】
図３５は、図３３に示す画像伸張装置の制御に関するタイミングチャートの一例を示す図である。図３５においては、フレームまたはフィールドのピクチュア単位の動作開始を指示する同期信号であるピクチュア同期信号とセグメント単位の動作開始を指示する同期信号であるＭＢ同期信号が示される。ピクチュア同期信号は、たとえば垂直同期信号であり、図示しない表示制御回路から図３３に示す制御回路１２２６へ与えられる。制御回路１２２６は、このピクチュア同期信号に同期してＭＢ同期信号を出力する。ピクチュア同期信号の周期は、復号後の画像データ（図３２に示す画素バスインタフェース１２２２を介して読出される画素データ）の表示装置上の表示レートで決定される一定値を有する。この表示レートは、ＭＰＥＧにおいてはレベルにより決定される。「レベル」には、水平画素数・垂直画素数・フレーム周波数の最大値が規格化されている。１つのピクチュアにおいては、分割されるマクロブロックの数は予め決定される。ピクチュア同期信号サイクル内でアサートされるＭＢ同期信号の数は、したがってピクチュアの画素数すなわちマクロブロックの数で決定される。このＭＢ同期信号は、図３３に示す制御回路１２２６から画像伸張装置１２００の各回路へ与えられて、各回路がそれぞれ所定の処理動作を実行する。
【００３３】
図３６は、セグメント単位の処理区間内に行なわれる処理を示すタイミングチャート図である。図３６においては、画像伸張装置をデコーダとして示す。ＭＢ同期信号に同期してこの画像伸張装置（デコーダ）の動作が起動される。可変長符号復号化器１２１２（図３３を参照）がＭＢ同期信号に同期して活性化されて、ＦＩＦＯインタフェース１２１０を介して与えられたビットストリームからヘッダを検出して解析し、次に実行すべき処理を決定する。次いでこのヘッダ解析により決定された処理動作に従ってマクロブロックの各ブロックの実データ分の復号（ブロックデータの復号と以下称す）が行なわれる。
【００３４】
このデコーダにおける復号動作と並行して、外部メモリへのアクセス動作が実行される。すなわち、図３４に示すＦＩＦＯ領域１２３２へのビットストリームの書込、復号処理されるべきビットストリームのＦＩＦＯ領域１２３２からの画素データの読出、復号された画像データの参照画像領域１２３４または表示画像領域１２３６（Ｂピクチュアは参照画像としては用いられない）への書込、画像データの表示のための外部メモリの表示画像領域１２３６からのデータの読出、および画素再構成器における予測符号化復号処理に用いられる予測画像の読出を含む。
【００３５】
図３６においては、１つのマクロブロックの処理動作を併わせて示す。ここで、以下の説明において、「セグメント」は、複数のブロックを含むマクロブロックと、このマクロブロックの属性データを含むマクロブロックヘッダ両者を含み、「マクロブロック」は単に複数のデータブロックを含むものとする。
【００３６】
ヘッダ解析部においては、セグメントのヘッダ部分の解読を行ない、以後に実行されるべき処理の決定および処理されるべきマクロブロックの属性を決定する。このマクロブロックのヘッダ部分の解読の後、マクロブロックの各ブロックの輝度信号（Ｙ信号）の復号化および色差信号ＣｂおよびＣｒの復号化が行なわれる。このときまた並列に、マクロブロックヘッダ部分の解読により与えられた動きベクトルから動きベクトルを再構成する演算が行なわれる（Ｂピクチュアの場合複数の動きベクトルが用いられる）。このデコーダの復号動作の一例は、たとえばＩＳＳＣＣ９４、ダイジェスト・オブ・テクニカル・ペーパーズの第７２頁ないし第７３頁の「シングル・チップＭＰＥＧ２ビデオ・デコーダＬＳＩ」の図２においてデムラ等により示されている。したがって、この処理の場合、ヘッダ解析に要する時間が、このヘッダ部の長さにおいて異なるため、ＭＢ同期信号の期間すなわち１処理区間の時間長さは各処理区間ごとに異なる。
【００３７】
【発明が解決しようとする課題】
画像伸張装置において、ビットストリームはセグメント単位で処理される。ブロックレイヤを除く各レイヤの先頭には、図３０に示すように、ヘッダが付される。このヘッダの先頭部には、レイヤの始まりを示すスタートコードが配置される。このスタートコードは、図３７に示すように、バイト単位で配置される３２ビット幅を有する。
【００３８】
図３７において、スタートコード１３００は、スタートコードであることを示す所定のパターンを有する３バイトのプリフィクス１３１０と、各レイヤに固有のパターンを有する１バイトのレイヤスタートコード１３２０を含む。たとえば、ＭＰＥＧ２のピクチュアレイヤの始まりを示すスタートコードの場合、パターン
００００  ００００  ００００  ００００  ００００  ０００１  ００００
００００
を有し、またシーケンスレイヤの始まりを示すスタートコードは、パターン
００００  ００００  ００００  ００００  ００００  ０００１  １０１１０
００１１
を有する。上述のスタートコードにおいて上位２４ビット（３バイト）がプリフィクスであり、下位１バイトがレイヤスタートコードである。
【００３９】
ＭＰＥＧ２規格においては、マクロブロックレイヤより上位のレイヤでは、スタートコードに続いてヘッダ情報が配置される。マクロブロックレイヤにはスタートコードは配置されない。これらのヘッダ情報は固定長データであるが、その詳細説明は省略する。マクロブロックレイヤのヘッダ（マクロブロックヘッダ）は、可変長符号化された情報を含む。
【００４０】
図３８は、マクロブロックヘッダの構成の一例を示す図である。図３８において、マクロブロックヘッダ１３５０は、マクロブロックの画面上の位置を示す情報（マクロブロックアドレス）およびスキップされるべきマクロブロックの数（マクロブロックアドレスインクリメント）を格納するマクロブロックアドレス領域１３５２と、マクロブロックの処理方法を示すマクロブロックタイプを格納する領域１３５４と、マクロブロックの動きベクトルを格納する領域１３５６と、Ｉピクチュア以外のマクロブロックの各ブロックがＤＣＴ係数データを含むか否かを示すＣＢＰ（Coded Block Pattern ）を格納するＣＢＰ領域１３５８を含む。
【００４１】
マクロブロックアドレスインクリメントによりスキップされるマクロブロックは、たとえばＰピクチュアについては、動き補償をされないマクロブロックにおいて、ＤＣＴ係数の符号（コード）を持たないタイプのマクロブロックである。領域１３５４に格納されるマクロブロックタイプは、このマクロブロックが、フレーム内／フィールド内予測符号化されているか否か、動き補償されているか否かなどの情報を含む。
【００４２】
動きベクトル領域１３５６には、動き補償予測される場合の動きベクトルが格納される。Ｉピクチュアの場合には、動きベクトル領域１３５６には、動きベクトルが格納されない。またＰピクチュアでは、その予測方式（フレーム予測符号化の場合の奇数フィールド（トップフィールド）および偶数フィールド（ボトムフィールド）予測符号方式に従った動きベクトルを用いることができる。同様にＢピクチュアについてもその予測方式に従って用いられる動きベクトルの数は異なる。したがって、この動きベクトル格納領域１３５６のビット幅はセグメントごとに異なる。ＣＢＰ領域１３５８は、各ブロックがＤＣＴ係数データを含むか否かを示し、したがって、このＣＢＰ領域１３５８に格納された情報がＤＣＴ係数データを含まないことを示すブロックはそのデータ伝送においては存在しないことになる。
【００４３】
このマクロブロックヘッダの各領域１３５２、１３４、１３５６および１３５８に含まれる情報は、すべて可変長符号語（可変長シンボル）で表現される。したがって、マクロブロックヘッダ１３５０の情報をすべて解析するのに要する時間は、マクロブロックの属性（処理方法、動きベクトルの数等）に応じて異なる。
【００４４】
マクロブロックヘッダ１３５０の各情報を解析することにより、このマクロブロックヘッダ１３５０に続くマクロブロックに対してどのような処理を行なうかを決定することができる。従来は、図３６に示すように、ＭＢ同期信号（ＭＢＳＹＮＣ）に同期してマクロブロックヘッダ１３５０の情報の解析を開始し、このマクロブロックヘッダ１３５０の情報をすべて解析した後に初めてマクロブロックデータの復号化処理を行なっている。すなわち、ＭＢ同期信号（ＭＢＳＹＮＣ）がアサートされてからマクロブロックヘッダ１３５０の情報がすべて解析されるまで、図３３に示す、可変長符号復号化器１２１２の符号復号部、逆量子化器１２１４、スキャン変換器１２１６、逆離散コサイン変換器１２１８および画素再構成器１２２０は、動作停止状態とされ、マクロブロックヘッダ情報がすべて解析されたとき初めてこれらの演算処理器が動作状態とされる。ここで、図３９において、マクロブロックＭＢ＃Ａ、ＭＢ＃Ｂ、ＭＢ＃Ｃそれぞれのヘッダ解析が時刻Ｔａ、ＴｂおよびＴｃにおいて完了し、次いでブロックデータの復号が行なわれる状態が一例として示される。
【００４５】
したがって、図３９においてたとえばマクロブロックＭＢ＃Ｃのようにヘッダ解析に長時間を要する場合、可変長符号復号化部以降の演算処理器の動作停止時間が長くなり、応じて演算処理器の使用効率が低下し、高速で画像データの復号処理を行なうことができなくなるという問題が生じる。
【００４６】
このような処理演算器の使用効率の低下を防止するために、演算処理をパイプライン化することが考えられる。
【００４７】
図４０は、一例として逆量子化器から画素再構成器までの各処理演算器の各段をパイプライン化した構成を概略的に示す図である。この図４０に示す構成においては、ＭＢ同期信号ＭＢＳＹＮＣのアサートごとに、ヘッダ解析および可変長復号されたデータがパイプラインへ投入される。パイプラインステージにおける逆量子化ステージ、スキャン変換ステージ、逆ＤＣＴステージおよび画素復号ステージは、それぞれ与えられたデータをパイプライン態様で処理する。
【００４８】
セグメント（マクロブロックヘッダおよびマクロブロック）ＭＢ＃Ａのヘッダ解析および可変長復号処理が終了し、次のＭＢ同期信号ＭＢＳＹＮＣがアサートされると、このマクロブロックＭＢ＃Ａの各ブロックデータがパイプラインへ投入されて順次処理される。
【００４９】
次のセグメントＭＢ＃Ｂのヘッダ解析に長時間を要した場合、マクロブロックＭＢ＃Ａの各ブロックのデータの処理が終了しても、まだこのマクロブロックＭＢ＃Ｂのブロックのデータはパイプラインへ投入されないため、パイプラインステージに空きが生じ、パイプライン利用効率が低下する。
【００５０】
セグメントＭＢ＃Ｂのヘッダ解析およびマクロブロックの各ブロックのデータの可変長復号化が終了すると、次のＭＢ同期信号ＭＢＳＹＮＣのアサートに従ってマクロブロックＭＢ＃Ｂの可変長復号語のデータがパイプラインステージに投入される。
【００５１】
次に与えられるセグメントＭＢ＃Ｃのヘッダの解析が短時間で終了し、応じてマクロブロックの各ブロックのデータの可変長復号処理も速く終了した場合、このマクロブロックＭＢ＃Ｃの可変長復号処理終了に従って次のＭＢ同期信号ＭＢＳＹＮＣがアサートされる。このとき、パイプラインの逆量子化ステージにおいてマクロブロックＭＢ＃Ｂの各ブロックのデータの処理が終了していない場合には、マクロブロックＭＢ＃Ｂの各ブロックのデータの処理中に次のマクロブロックＭＢ＃Ｃのブロックデータが投入され、マクロブロックＭＢ＃Ｂの各ブロックのデータとマクロブロックＭＢ＃Ｃのブロックのデータが混在して処理が行なわれることになり、正確なデータ処理を行なうことができず、データ処理（伸張処理）に破綻が生じる。したがって、大きなパイプラインを導入することができず、パイプライン化による処理演算器の使用効率改善にも限度がある。
【００５２】
動画像データ、特に、ＨＤＴＶ（高解像度テレビジョン）などの画面サイズの大きな画像のデータを処理する画像伸張装置においては、大量のデータを高速で処理する必要があり（フレームまたはフィールドの周波数すなわちこのピクチュア同期信号の周期は、伸張処理後の画像データの表示速度で決定される）、またその伸張処理過程での処理演算器（たとえば逆ＤＣＴ変換器）での演算量も極めて大きい。したがって、処理演算器の使用効率の低下を補償して高速データ処理を実現するためには、各処理演算器の動作速度を速くする（処理動作速度を決定するクロック信号の周波数を高くする）必要が生じ、処理演算器の構成要素のオンおよびオフならびに信号線の充放電の単位時間あたりの回数が増大し、応じて消費電流が増大するという問題が生じる。
【００５３】
また、別の方法として、複数の処理演算器を並列に設け、これら複数の処理演算器を同時に並列に動作させることにより使用効率の低下を補償することも考えられる。この場合、素子数が増大し、装置規模が増大するという問題が生じる。
【００５４】
画像伸張処理過程において、たとえば外部制御装置からの割込処理が生じた場合、その割込完了後画像伸張装置を初期化する必要が生じる。このとき、割込された処理から再び処理を再開すると、画像（ピクチュア）の途中から表示が行なわれることになり、以後の画像（ピクチュア）の処理と表示装置の表示との同期が取れなくなる場合が生じる。すなわち、初期化後すぐに最初の画像表示をピクチュア同期信号（たとえば垂直同期信号）と同期して実行すれば、以後、同期のずれた画像が表示される（画像（ピクチュア）の境界が画面上に表示される）。ＭＰＥＧ規格では、シーケンスレイヤにおいて、ＧＯＰ（グループ・オブ・ピクチュアズ）の先頭にシーケンスヘッダを配置し、任意のＧＯＰから再生可能としている。しかしながら、このような画像伸張処理過程のリセット時（初期化時）に実行すべき処理については何ら述べていない。また、先行技術もこのような画像伸張処理の初期化の動作については述べていない。
【００５５】
それゆえ、この発明の目的は、効率的に画像データの伸張処理を実行することのできる画像伸張装置を提供することである。
【００５６】
この発明の他の目的は、効率的に動作するパイプラインステージを備える画像伸張装置を提供することである。
【００５７】
この発明のさらに他の目的は、処理演算器の使用効率の優れた画像伸張装置を提供することである。
【００５８】
この発明のさらに他の目的は、リセット時（初期化時および再同期化時）に確実に処理効率を低下させることなくピクチュアの最初のマクロブロックから処理を実行することのできる画像伸張装置を提供することである。
【００５９】
【課題を解決するための手段】
請求項１に係る画像伸張装置は、入来するビットストリームを受け、セグメントのヘッダの情報を解析して解析結果情報を生成するヘッダ復号手段と、このヘッダ復号手段からのセグメントのヘッダ情報の解析完了を示す信号に応答してデータ処理開始指示信号を発生する制御手段と、このデータ処理開始指示信号に応答して起動され、セグメントのヘッダに続くデータブロックに解析結果情報に応じた処理を実行するデータ処理手段を備える。ヘッダ復号手段は、データブロックに続いて与えられるヘッダの情報を連続して解析し、これにより処理動作における1つの単位処理区間は、データブロックの処理に始まってヘッダの解析で終了する。
【００６０】
請求項２に係る画像伸張装置は、請求項１の装置において、各単位処理区間の時間期間がヘッダ解析結果情報に従って変更可能とされる。
【００６１】
請求項３に係る画像伸張装置は、請求項１に係る画像伸張装置の構成において、圧縮処理された動画像データが予測符号化処理を受けた画素データからなり、データ処理手段は、データブロックのデータを圧縮処理と逆の伸張処理をしてもとの画素データを復元する手段を含み、この請求項１の制御手段が、データ処理開始指示信号に応答してメモリ装置へのデータ処理手段からの復元された画素データの格納、入来するビームストリームのメモリ装置への書込、メモリ装置からの復元された画素データのうちの表示すべき画素データの読出、およびデータ処理手段における画素データの復元に必要とされる予測画像画素データの読出を順次所定の順序で実行する手段を含む。
【００６４】
請求項４に係る画像伸張装置は、請求項１のデータ処理手段が、セグメントの処理区間を処理単位としてパイプライン的に処理動作する複数段のパイプラインステージを含む。
【００６５】
請求項５に係る画像伸張装置は、請求項４のパイプラインステージが、予測画像データのメモリからの読込、データブロックの直交変換係数の可変長符号化およびその逆量子化を行う第１のパイプラインステージと、読込まれた予測画像画素データからの予測画像の作成を行う第２のパイプラインステージと、逆量子化されたデータの逆直交変換処理および画素データの復元を行う第３のパイプラインステージと、復元された画素データのメモリへの書込を行う第４のパイプラインステージとを含む。
【００６６】
請求項６に係る画像伸張装置は、請求項５に係る画像伸張装置がさらに、ヘッダ復号手段および第１のパイプラインステージのいずれかの処理においてエラーが検出されるとエラー検出信号を発生する手段と、エラー検出信号に応答して、データ処理手段における処理の順序においてこのエラーが検出されたセグメントよりも前に位置するセグメントのデータブロックに所定のエラー修復処理をパイプラインステージにおいて施す手段を備える。
【００６７】
請求項７に係る画像伸張装置は、画像伸張処理の初期化を要求するリセット要求信号に応答して、処理起動信号を生成する制御手段と、この制御手段からの処理起動信号に応答して、予め定められたパターンを有するコードを入来するビットストリームから探索するコード探索手段と、与えられたビットストリームに含まれるセグメントのヘッダ情報を解析する解析手段と、解析されたヘッダに続くデータブロックのデータに解析結果情報に応じた処理を施すデータ処理手段と、探索手段からのコート検出指示に応答して解析手段を活性化する手段と、解析手段からのヘッダ情報の解析完了指示信号に応答して、予め設定された処理再開のための所定の条件が成立するまでこのヘッダに続くデータブロックのデータ処理手段による処理実行を待ち合わせる手段を備える。
【００６８】
請求項８に係る画像伸張装置は、この請求項７における画像伸張装置の処理開始の条件が、外部から与えられる画像の開始時点を示す同期信号の印加である。
【００６９】
【作用】
請求項１に係る画像伸張装置においては、データブロックの復号に続いてヘッダの解析を行ない、このヘッダの解析がすべて完了した後にデータ処理開始を指示している。１つの処理区間はデータブロックの処理に始まりヘッダの解析で終了する。データ処理開始が指定されるとデータ処理手段は即座に処理を実行する。したがって処理演算器の停止期間が短くなり、処理演算器の使用効率が高くなる。また、処理演算器の待機時間が短くなるため、１処理区間の時間期間を短くすることができ、高速処理を実現することができる。
【００７０】
請求項２の画像伸張装置においては、処理区間の時間期間をヘッダの解析結果に従って変更されるために、処理対象となるセグメントの属性に応じて処理区間の時間期間を変更することができ、最適な処理区間の時間期間を設定して効率的に処理演算器を動作させることができる。
【００７１】
請求項３に係る画像伸張装置においては、制御手段によりデータブロックのデータの復号処理と並行してメモリへのアクセスが順次実行される。特に、復元データの書込、入来ビットストリームの書込、予測画像画素データの読出、およびビットストリームの読出を順次行なうことにより、データ処理手段によるパイプライン処理に必要とされるデータの破壊を伴なうことなくデータ処理手段へ供給しかつそのデータ処理手段からのデータを格納し、かつ表示に必要なデータを表示制御装置へ与えることができる。
【００７３】
請求項４に係る画像伸張装置においては、セグメントの処理区間を１処理単位としてパイプラインを構成しているため、各パイプラインの処理演算器の使用効率を高くすることができ、高速データ処理を実現することができる。
【００７４】
請求項５に係る画像伸張装置においては、パイプラインステージは処理内容に応じて４段で構成され、処理区間の変動に対しても最初の処理演算器の待ち時間でパイプライン動作が可能であり、高速データ処理を実現することができる。また、ヘッダの解析と並行してデータの復号処理を行うことができ、高速にデータ処理を行うことができる。
【００７５】
請求項６に係る画像伸張装置においては、エラー発生時にパイプラインステージの遅延を利用することにより、エラーが検出されたセグメントより処理順序で前のセグメントからエラー修復を行うことができ、より正確なエラー修復動作を実現することができる。
【００７６】
請求項７に係る画像伸張装置においては、リセット要求時に所定のパターンを有するコードを検出し、その検出コードに続くセグメントのヘッダを解析して以降の処理を所定の条件成立まで停止する。リセット要求時においても確実に所望の位置のセグメントのマクロブロックから処理を開始することができる。
【００７７】
請求項８に係る画像伸張装置においては、画像の開始を示す同期信号に同期してデータ復号処理を開始しており、リセット時において外部からの同期信号と同期して確実に画像の開始からセグメントのデータブロックのデータの復号処理を行うことができる。
【００７８】
【実施例】
図１は、この発明に従う画像伸張装置における可変長復号部の１処理区間の動作を示す図である。可変長符号復号部（以下、デコーダ（ＶＬＤ）と称す）の１処理区間ＰＳ１は、マクロブロックの各ブロックのデータの復号を行なう復号期間ＰＳ２と、この復号期間ＰＳ２に続くヘッダ情報の解析を行なう期間ＰＳ３とを含む。復号期間ＰＳ２は、ＭＢ同期信号ＭＢＳＹＮＣのアサートに応答して開始され、この期間ＰＳ２で、量子化インデクスを元にした可変長シンボル群からなるブロックデータの復号が行なわれる。ヘッダ解析期間ＰＳ３では、次の処理区間で復号されるヘッダ部分の情報（シーケンスヘッダ、ピクチュアヘッダがマクロブロックヘッダに加えて含まれる場合もある）がすべて解析される。解析期間ＰＳ３の完了後、すなわち、次のマクロブロックヘッダのすべての情報の解析完了後は、所定の条件が成立するまで次の処理区間ＰＳ１の開始すなわち次のマクロブロックのブロックのデータの復号処理開始が待ち合せられる。ここで図１においては、解析期間ＰＳ３の完了時点において続いて次のマクロブロックのブロックデータの復号が行なわれるように示される。しかしながらこの解析期間ＰＳ３の時間期間は、ヘッダ情報に応じて変動する。復号ブロックデータ（マクロブロックの各ブロックのデータ）の復号処理は、固定時間内で終了する。マクロブロックの各ブロックのデータは可変長符号化されており、符号長は異なる。この可変長符号のデコードを、たとえば１シンボル／１クロックサイクルの速度で行なえば、マクロブロックの各ブロックの画素数は８画素×８画素であり、１ブロックあたりの最大の数は６４個である。したがってこの復号期間ＰＳ２の時間期間を上述のように設定した場合、固定時間長とすることができる。１シンボル／１クロックサイクルの割合で可変長符号を行なう場合において、ランレングスデータを復号し、この復号されたランレングス情報に従って順次各ブロックのＤＣＴ係数が求められる。したがって、この場合、ラン・レングス・デコードに要する時間の最大値は予め定めることができ、このラン・レングス・デコードに要する時間を予め一定に設定しておけば、デコードされたランレングス情報から１クロックあたり１画素の割合でブロックのＤＣＴ係数データを求める構成とすれば、同様この場合においても、時間期間は固定とされる。ラン・レングスデコードに要する時間が変動する場合において、復号期間ＰＳ２の時間期間が変動する構成とされる場合においても、そのブロックデータの復号に要する時間期間は一定の時間（最大の復号時間程度）以内に抑えることができる。デコーダ（ＶＬＤ）からは固定長のＤＣＴ係数（量子化インデクス）が出力される。
【００７９】
図１に示す処理期間の構成に従えば以下の利点が得られる。ＭＢ同期信号ＭＢＳＹＮＣに同期してマクロブロックのブロックのデータの復号が行なわれる。したがって、画像伸張装置に含まれる各演算器がヘッダ解析完了後待つことなく動作を開始することができる。したがって、この逆量子化器、可変長復号化器、スキャン変換器、逆離散コサイン変換器および画素再構成器が待合せることなく処理を開始することができ（パイプライン化されているとき特に、）、画像伸張装置の各種演算器の使用効率を改善することができる。
【００８０】
また復号領域ＰＳ２および解析領域ＰＳ３の時間期間は、画像伸張装置に含まれる各処理演算器を後に説明するようにパイプライン的に動作させることにより、大幅に短くすることができる。
【００８１】
図２は、処理区間の構成を具体的に示す図である。図２（Ａ）においては、１処理区間の復号領域ＰＳ２は、可変長符号を可変長復号処理して固定長の量子化ＤＣＴ係数を生成する可変長復号処理（ＶＬＤ）、この可変長復号されたＤＣＴ係数データの逆量子化処理（ＩＱ）、逆量子化されたＤＣＴ係数のスキャン順序の変換を行なうスキャン変換処理、スキャン変換された処理の逆離散コサイン変換処理（ＩＤＣＴ）、およびこの逆離散コサイン変換後の画素データから元の画素データを復元する画素復元処理（ＤＰＣＭ）を含む。この図２（Ａ）においては、処理区間における復号領域２の時間期間は、各処理演算に要する時間の合計となる。
【００８２】
図２（Ｂ）はこの復号領域２に含まれる各処理をパイプライン的に実行する場合の構成の一例を示す図である。可変長復号処理（ＶＬＤ）が完了すると、可変長符号復号器においては、ヘッダ情報の解析を行なうことが可能となる。したがって、この図２（Ｂ）に示すような逆量子化処理（ＩＱ）、スキャン変換処理（バッファメモリへのアドレス変換を伴なうデータのライト・リード）、逆離散コサイン変換処理（ＩＤＣＴ）および画素復元処理（ＤＰＣＭ）の処理と並列に、次のセグメントのヘッダ情報の解析を行なうことができる。したがってパイプライン態様で処理を行なうことにより復号領域ＰＳ２の時間期間の短縮と、このパイプライン化によるヘッダ情報解析とブロックデータの復号との並列処理による解析領域ＰＳ３の時間期間の短縮を実現することができ、１処理区間の時間期間を大幅に低減することができ、高速演算処理（伸張処理）を実行することができる。このパイプライン化の構成については後に再度詳細に説明する。
【００８３】
この発明に従う画像伸張装置の概略外部構成は図３３に示す構成と同じである。可変長復号化器１２１２および制御回路１２２６の内部構成が異なる。この構成については後に詳細に説明する。
【００８４】
図３は、１処理区間における、デコーダ（画像伸張装置）の動作と外部メモリ装置（ＤＲＡＭ）のポートの動作を示す図である。図３において、画像伸張装置（デコーダ）において、ＭＢ同期信号ＭＢＳＹＮＣのアサートに応答して、セグメントのブロックのデータの復号が開始される。このブロックデータの復号が完了すると、次のセグメントのヘッダ情報の開始が行なわれる。ヘッダ情報の解析が完了するとちょうど１処理単位時間期間が終了しており、次のセグメントのマクロブロックのブロックデータの復号が開始されている。
【００８５】
一方、ＤＲＡＭに対しては、まずＭＢ同期信号ＭＢＳＹＮＣのアサートに応答して、先の処理単位時間期間で復号された画素データの書込が行なわれる。次いで、外部から与えられるビットストリームが図３２に示すＦＩＦＯインタフェース１２１２を介して予め定められた時間期間の間に書込まれる。このＤＲＡＭポートへのビットストリームの書込（レートバッファへの書込）が完了すると、次いで表示用の画像データが読出される。この表示用の画像データ（たとえばマクロブロックの画素データ）の読出が完了すると、次いで予測符号化された画素データの復元に用いられる予測画像データの読出が行なわれる。この予測画像データの読出においては、Ｂピクチュアの場合には、たとえば、内挿予測の場合、時間的に前および後の２つのピクチュアの画像データが読出される。したがって、この予測画像データの読出においては、復号されるブロックデータの符号化モードに応じて異なる。
【００８６】
予測画像データの読出が完了すると、次いで、処理されるべきビットストリームの読出が行なわれる（レートバッファの読出）。このレートバッファの読出においては、読出されるデータの量は予め設定される。レートバッファの読出を行なう処理単位におけるヘッダ情報の解析に用いられるビットストリームおよび次の処理単位において復号処理されるセグメントのブロックデータが、後に説明する可変長符号復号化器に含まれるバッファに準備されることが必要とされる。各処理単位区間においてレートバッファからビットストリームの読出を行なうことにより、対応の処理区間におけるヘッダ解析に用いられるビットストリームおよび次の処理単位において用いられるブロックデータの可変長符号復号化器に含まれるバッファメモリ内への格納（プリフェッチ）を保証することができる。
【００８７】
このレートバッファの読出の後、ＤＲＡＭリフレッシュが行なわれ、外部メモリ装置であるＤＲＡＭの記憶するメモリデータのリフレッシュが実行される。ＤＲＡＭポートの動作において１処理単位時間内で以上の動作が順次実行される。この図３に示す動作シーケンスにおいては、ＤＲＡＭリフレッシュ動作完了後、次の処理区間が始まるまで、何らアクセスはされず、ＤＲＡＭポートは空き状態となる。なお、ＤＲＡＭリフレッシュは、１処理区間において最後に行なわれるように示される。しかしながら、このＤＲＡＭリフレッシュは、１処理単位の区間において、適当なタイミングで実行されればよい。
【００８８】
図４は、１処理区間における、画像伸張装置およびＤＲＡＭポートの動作の別のシーケンスを示す図である。図４においては、ＭＢ同期信号ＭＢＳＹＮＣのアサートに同期して、画像伸張装置（デコーダ）においては、図３に示すシーケンスと同様、ブロックデータ（マクロブロックの各ブロックのデータ）の復号が行なわれ、次いで復号完了後、次のセグメントのヘッダ情報の解析が行なわれる。図４に示すシーケンスにおいては、ヘッダ情報の解析が完了しても、次のセグメントのブロックデータの復号の処理の開始は待合せられる。
【００８９】
一方、ＤＲＡＭポートにおいては、ＭＢ同期信号ＭＢＳＹＮＣのアサートに同期して、復号済みデータの書込、レートバッファへの書込、表示用画像データの読出、予測画像データの読出およびレートバッファの読出が順次実行される。レートバッファの読出の前に、ＤＲＡＭリフレッシュが実行される。このＤＲＡＭリフレッシュは、先に述べたように、１処理区間内で任意のタイミングで実行可能である。レートバッファの読出が完了することにより、１つの処理区間が完了する。この１つの処理区間の完了に応答して、次のセグメントのブロックデータの復号開始を示すためにＭＢ同期信号ＭＢＳＹＮＣがアサートされる。ヘッダ情報の解析が行なわれてから次のブロックデータの復号の開始までの間の空き時間については後に詳細に説明する。
【００９０】
この１処理区間内においてＤＲＡＭポートに対し、所定の順序で復号済みデータの書込、レートバッファの書込、表示用の画像データの読出、予測画像データの読出、およびレートバッファの読出を行なうことにより、ＤＲＡＭのアクセスにおいて、このアクセスの優先順位を判別する必要がなく、ＤＲＡＭへのアクセスを調整するためのバスアービタを設ける必要がなく、装置構成が簡略化される。
【００９１】
また、１処理区間の最初に復号済みデータの書込を行なうことにより、後に詳細に説明する画像伸張装置の演算器のパイプライン構成に対応することができる。また、先に復号済みデータの書込を行なうことにより、続いて実行される表示用画像データの読出に必要とされる画像データをＤＲＡＭに準備することができる。すなわち、Ｂピクチュアの場合、復号済みデータがすぐに表示される（Ｂピクチュアは予測画像としては用いられない）。復号済みデータの書込に続いてレートバッファへのビットストリームの書込を行なうことにより、ＤＲＡＭの動作モード（書込モード／読出モード）を変更することなく、また外部から与えられるビットストリームに遅延を生じさせることなくレートバッファへビットストリームを書込むことができる。表示用画像データの読出を予測画像データの読出よりも先にすることにより、外部に別に設けられた表示制御装置の動作を待合せる必要がない。すなわち予測画像データの読出では、このセグメントの処理方法（予測符号化）に応じて読出される予測画像の数が異なる。したがって、予測画像データの読出の完了時点は各画像により異なる。したがって、１処理区間内において終了時点の変動する予測画像データよりも先に表示用の画像データを読出すことにより、１処理区間内においてほぼ同じタイミングで表示用画像データを表示制御装置へ与えることができ、表示制御装置の使用効率が損なわれることはない。
【００９２】
レートバッファからのビットストリームの読出を処理区間の最後に行なうのは、次の処理区間におけるブロックデータ復号処理およびヘッダ解析に必要とされるビットストリームを可変長符号復号化器（１２１２、図３３参照）へ供給することが要求されるだけであり、１処理区間の最後に実行しても何ら問題は生じない。予測画像データの読出をレートバッファの読出よりも先に実行するのは、画像伸張装置のパイプライン構成において、確実に予測画像データを画像伸張装置の画素再構成器に設けられたバッファメモリへ読込み、続いて次の処理区間の開始に同期して予測画像を生成する演算処理を確実に実行することができるようにするためである。
【００９３】
またこのＭＢ同期信号ＭＢＳＹＮＣに同期してＤＲＡＭポートのアクセスを開始する構成とすることにより、予測画像データの読出タイミングを予め予測することができ、バス制御が容易となる（ＤＲＡＭへのアクセス制御は後にその構成は詳細に説明するが図３２に示す制御回路１２２６により行なわれる）。すなわち先にヘッダ情報を解析することにより、マクロブロックのタイプおよび画面上の位置を知ることができる。ＤＲＡＭはフレームメモリの構成を備える。したがって先にヘッダ情報を解析しておくことにより、復号済みデータの書込および表示用の画像データの読出におけるロウアドレスの変化などを予め予測することができ、応じてこれらの復号済みデータの書込および表示用画像データの読出に要する時間を予測することができ、応じて予測画像データの読出タイミングを予測することができる。これにより、図３２に示すメモリインタフェースの制御と画素再構成器における予測画像データの読込動作との調整を行なうこともできる。
【００９４】
図５は、クロックサイクルを単位としてパイプラインを構成する逆量子化器の構成を概略的に示す図である。この逆量子化器１２１４は、可変長復号された固定長データからなる量子化ＤＣＴ係数データを入力バスＡ１０１を介して受けかつ各ブロック（マクロブロックの各ブロック）の始まりを示す入力同期信号を信号線Ａ１０３を介して受け、パイプライン態様で逆量子化処理を行なって、出力バスＡ１０２からＤＣＴ係数データを出力しかつ信号線Ａ１０４を介してその出力データのブロックの始まりを示す出力同期信号を出力する。
【００９５】
逆量子化器１２１４においては、固定長符号に変換された量子化ＤＣＴ係数それぞれに対し、予め準備された量子化テーブルを用いて量子化時と逆の演算（たとえば、量子化テーブルの対応の係数で乗算をする；量子化のときに量子化テーブルの対応の係数で割算されているとき）処理が行なわれる。このとき、乗算処理がパイプライン的に実行される。一般に、図６に示すように、ＶＬＤ，ＩＤＣＴおよびＤＰＣＭ処理ステージに較べて、この逆量子化器１２１４は、１２８段余分のパイプラインを備える。したがって、図６に示すように、入力同期信号が信号線Ａ１０３を介して与えられて順次入力バスＡ１０１を介してデータが与えられると、逆量子化処理を施されたデータは１２８サイクル経過した後に出力される。この逆量子化器１２１４へ与えられる入力データは、図３３に示す可変長符号復号化器１２１２から与えられる。この逆量子化器１２１４からの出力バスＡ１０２へ現われる出力データがすべて出力されるまでに、または、図２（Ｂ）に示すように、スキャン変換器を介して逆ＤＣＴ器へ与えられるまでに入力データは、それより少なくとも１２８サイクル前に終了する。したがって、この間ヘッダ解析のために可変長符号復号化器を利用することができる。したがってこの逆量子化器以降の処理とヘッダ解析とを並行して実行することができる（図２（Ｂ）参照）。
【００９６】
図７は、画像伸張装置のために他のパイプライン態様を示す図である。図７に示す画像伸張装置においては、ＭＢ同期信号ＭＢＳＹＮＣに同期して４段のパイプラインによりパイプライン処理が実行される。図７において、第１段目のパイプラインにおいては、予測画像のＤＲＡＭからの読出、ＤＣＴ係数の可変長復号処理（固定長ＤＣＴ係数データの生成）、および逆量子化処理が行なわれる。このＤＲＡＭからの予測画像データの読出においては、先の処理区間において解析されたヘッダ情報から動きベクトルが抽出され、この抽出された動きベクトルに従ってＤＲＡＭから予測画像データの読出が行なわれる。
【００９７】
第２段のパイプラインステージは、このＤＲＡＭから読出された予測画像データのフィルタ処理が行なわれる。この予測画像のフィルタ処理では、予測精度が分数精度の場合における複数の予測画像の内挿による合成（平均化）が行なわれる。内挿予測のＢピクチュアの場合には、時間的に前後する２つのピクチュアの画像データの合成が行なわれる（各時間的距離に従った重みをつけて画像データを合成する）。これにより、予測画像データの生成が行なわれる。
【００９８】
第３段目のパイプラインステージは、逆離散コサイン変換処理（ＩＤＣＴ）および予測差分符号の復号処理（ＤＰＣＭ復号）が行なわれる。ＩＤＣＴ処理においては、逆量子化処理（ＩＱ）を受けたＤＣＴ係数データの逆離散コサイン変換処理が実行される。ＤＰＣＭ復号処理過程においては、ＩＤＣＴ処理により生成された画素データと、予測画像フィルタ処理により生成された予測画像データとの予測差分符号化（両者の加算）が行なわれ、元の画素データが生成される。このマクロブロックがＩピクチュアの場合には、ＩＤＣＴ処理されたデータが元の画素データに対応する（ＤＣ予測を行なっていない場合）。このＤＰＣＭ復号処理されて復元された画素データは画像伸張装置に含まれるバッファへ書込まれる。
【００９９】
４番目のパイプラインは、この復号画像データのＤＲＡＭの書込である。すなわちバッファからＤＲＡＭの書込が行なわれる。
【０１００】
この画像伸張装置のヘッダ解析以後の処理をセグメント（マクロブロック）単位でパイプライン化することにより、処理単位の時間期間を大幅に短縮することができる。図７においては、したがってＭＢ同期信号ＭＢＳＹＮＣのアサートされる間隔を１処理区間とすると、１つのマクロブロックのブロックデータが復号されるために４処理区間が必要とされる。この各処理区間において、ヘッダ情報の解析が実行される。図７においては、一例としてディジタルＮＴＳＣ信号（有効画素数７２０／ライン、４８０ライン／フレーム）をフレームごとに１６×１６画素からなるマクロブロック単位で処理する場合の動作シーケンスを示す。第１のマクロブロックＭＢ＃１から第１３５０番目のマクロブロックＭＢ＃１３５０までの処理が４段のセグメント単位のパイプライン（１処理区間で１セグメント（マクロブロック）を処理する）により処理されている。
【０１０１】
この画像伸張装置における内部の演算処理操作をパイプライン化した場合の、ＤＲＡＭポートへのアクセスも同様、図７において画像伸張装置の内部のパイプラインステージに対応して示す。
【０１０２】
この図７に示すように、画像伸張装置の各処理演算器のセグメント単位でのパイプライン化処理により、画像伸張処理の単位であるセグメントの処理を複数の処理区間にわたってパイプライン的に実行することができ、応じて１セグメントのすべての処理に要する時間（１処理単位の時間）を実効的に短くすることができる。図７に示すように、４段のパイプラインの構成の場合、１処理単位の約１／４の時間の処理区間で１つのセグメントが処理される。
【０１０３】
この図７に示す処理区間の時間期間は一定のクロックサイクル数に固定的に設定されてもよい。しかしながらこのセグメントの属性に応じて処理区間の時間期間（クロックサイクル数）を変動させることもできる。
【０１０４】
図８は、処理区間の時間期間を変更するための動作フローを示す図である。以下、図８を参照して、処理区間のクロックサイクル数を変更するための方法について説明する。
【０１０５】
また、ＭＢ同期信号ＭＢＳＹＮＣがアサートされる（ステップＳ１）。このＭＢ同期信号ＭＢＳＹＮＣのアサートに応答して制御回路１２２６（図３３参照）に含まれるタイマが起動される（ステップＳ２）。
【０１０６】
タイマの起動の後、先の処理区間において解析されたヘッダ情報に基づいてセット時間を変更する必要があるか否かの判別が行なわれる（ステップＳ３）。これは、マクロブロックの処理方法が複雑な場合（たとえば分数精度での動き予測付双方向予測符号化処理が行なわれたＢピクチュアなどの場合）、その処理単位時間が長くなる。この場合、この解析ヘッダ情報に従ってセット時間を長くする。ステップＳ３において、セット時間の変更が必要とされた場合には、その解析されたヘッダ情報に従って処理区間の時間を適当な値（長くまたは短く）設定する。ステップＳ３においてセット時間の変更が必要でないと判別された場合、ステップＳ４のセット時間の変更処理はスキップされる。次いで、タイマのカウント時間がセット時間に到達したか否かの判別が行なわれる（ステップＳ５）。セット時間が経過した場合には、再びステップＳ１へ戻り、次の処理区間の始まりを示すＭＢ同期信号ＭＢＳＹＮＣがアサートされる。セット時間が経過するまでステップＳ５が繰返して実行される。
【０１０７】
なお、ステップＳ３およびＳ４は、ステップＳ１と並行して行なわれてもよい。セット時間の変更は、タイマをカウンタで構成し、このタイマのカウント値とレジスタの基準値の一致／不一致を比較する比較器の比較結果によりＭＢ同期信号ＭＢＳＹＮＣをアサートする構成の場合では、レジスタの格納値が変更されればよい。また、可変段数のカウンタを用い、このセット時間変更時にはカウンタの段数を変更する構成とすれば、カウンタのカウントアップ信号をＭＢ同期信号ＭＢＳＹＮＣとして利用する構成を用いることもできる。
【０１０８】
処理区間の時間期間が一定の場合には、ステップＳ３およびＳ４が省略される。
【０１０９】
図９は、処理区間の時間期間を設定する他の手法を示す図である。この図９に示す制御動作も、図３２に示す制御回路１２２６において実行される。この制御回路１２２６の構成については後に詳細に説明する。
【０１１０】
処理区間が始まり、ＭＢ同期信号ＭＢＳＹＮＣがアサートされる（ステップＳ１０）。次いで、ステップＳ１２、Ｓ１４およびＳ１６が並列態様で実行される。ステップＳ１２においては、レートバッファからの可変長符号復号化器へのビットストリームの読込が完了したか否かの判別が行なわれる。ステップＳ１４においては、ＭＢ同期信号ＭＢＳＹＮＣから所定のセット時間が経過したか否かの判別が行なわれる。ステップＳ１６においては、ヘッダ情報の解析がすべて完了したか否かの判別が行なわれる。このヘッダ情報の解析がすべて完了したか否かを示す信号は、後に詳細に説明するが、可変長符号復号化器から出力される。ステップＳ１８において、これらの判断結果がモニタされ、ステップＳ１２、Ｓ１４およびＳ１６における判別結果がすべて肯定的（ＹＥＳ）の場合には、ステップＳ１８からステップＳ１０へ戻り、次の処理区間の開始を指定するＭＢ同期信号ＭＢＳＹＮＣがアサートされる。この図９に示す処理動作を実行することにより、確実に必要な処理が完了した後に次の処理区間が開始させることができる。データ処理の途中（たとえばレートバッファからのデータ読出動作中またはヘッダ解析動作中）に次の処理区間が始まるのを防止することができる。したがって、固定的に処理区間の時間サイクルを設定する構成に比べて、確実に、すべての必要な処理が完了した後に（すべて必要なデータが与えられた後に）、可変長復号動作から画素復元処理までの一連の処理がパイプライン態様で開始される。この図９において、ステップＳ１４におけるセット時間は復号対象となるセグメントの属性に応じて変更可能とされてもよい（図８参照）。
【０１１１】
以上のように、画像伸張装置の各処理演算器をセグメント単位でパイプライン化することにより、セグメントの処理区間を大幅に短縮することができる。
【０１１２】
エラー処理動作：
画像伸張装置に入力されるビットストリームのデータは、エラービットを含んでいる可能性がある。可変長符号化処理されたビットストリームではシンボルの長さが異なる。したがって、エラービットが混入した場合、１つのシンボルのエラーは後続のシンボルにも影響を及ぼすことになり、正確な可変長復号処理を行なうことができなくなる。画像伸張装置は、この混入したエラービットにより正常な復号動作を行なう定常状態から正確な復号処理を行なうことのできない非定常状態へ遷移する。画像伸張装置には、このような非定常状態から定常状態への復帰および非定常状態における復号画像の画質劣化を最小限を抑制する処理を行なうことが要求される。ここで、エラー検出から正常状態への復帰までに行なわれる処理をエラー処理と称す。この非定常状態において処理されたセグメントに行なわれる表示画面上でのエラーの影響を小さくする処理は、「エラーコンシールメント処理」と呼ばれる。以下、このエラー処理動作およびエラーコンシールメント処理について説明する。
【０１１３】
図１０は、エラー検出時の画像伸張装置の動作を概略的に示すフロー図である。以下、図１０を参照してエラー検出時の画像伸張装置の動作について説明する。
【０１１４】
まず、ステップＳ２０においてエラーが検出される。このエラー検出においては、たとえば、可変長符号復号化器において、スタートコードを含むヘッダ解析時において、必要とされるシンボルが見出されない場合および、量子化インデクスの可変長復号処理において対応のシンボルが見出されない場合にエラーが生じたと判定されてエラー検出信号が生成される。
【０１１５】
エラーが検出されると、特定のパターンを有するスタートコードの探索が行なわれる（ステップＳ２１）。このスタートコードには、ＭＰＥＧ規格においては、レイヤーの始まりを示すために、スライススタートコード、ピクチュアスタートコード、ＧＯＰスタートコード、およびシーケンススタートコード、およびシーケンスエラーコードなどがある。
【０１１６】
この探索過程により、スタートコードが検出されると、検出したスタートコードが、正常復帰に有効であるか否かの判別が行なわれる（ステップＳ２２）。たとえばスタートコードの１つであるシーケンスエラーコードが検出されても、これは正常復帰（定常状態への復帰）には有効ではない。したがってまた別のスタートコードの探索が継続される。
【０１１７】
正常復帰に有効なスタートコードが検出されると、そのスタートコードに続くヘッダの解析が行なわれる（ステップＳ２３）。このヘッダの解析では、スタートコード後の最初のセグメントに含まれるヘッダ情報の解析までが実行される。このヘッダ解析により、正常状態（定常状態）へ復帰すべきセグメントが識別される。すなわち、図１１に示すように、スタートコードに続くヘッダ（セグメントのマクロブロックの前のマクロブロックヘッダまでのすべてのヘッダを含む）１４００には、エラー発生時に正常状態に復帰すべきセグメント（マクロブロック）の画面上の位置を示す再同期セグメントアドレス情報１４０２が格納されている。たとえばＭＰＥＧ規格では、この再同期セグメントアドレス情報１４０２は、スライスヘッダに含まれるスライス・バーチカル・ポジションとマクロブロックアドレスインクリメントに対応する。このヘッダ１４００を解析することにより再同期セグメントアドレスが同定され、非定常状態から定常状態へ復帰すべきセグメントを同定することができる。
【０１１８】
たとえば、ＭＰＥＧ規格において、有効スタートコードが、シーケンススタートコード、ＧＯＰスタートコードおよびピクチュアスタートコードの場合、定常状態に復帰すべきセグメントは、ピクチュアの最初のセグメントである。
【０１１９】
検出されたスタートコードがスライススタートコードの場合、スライスレイヤーはエラーの伝搬を防止するために設けられているため、このスライスレイヤーの先頭のセグメントから定常状態に復帰することができる。スライスレイヤーのヘッダには先に述べたように、画面上の位置を示す情報が含まれており、この画面上の位置を示す情報が再同期アドレスとして利用される。
【０１２０】
ヘッダ情報を解析した後、このヘッダに続くマクロブロックのデータの可変長復号処理は所定の条件が成立するまで待合せられる。
【０１２１】
すなわち、次にこの画像伸張装置において処理すべきセグメントが、ステップＳ２３において行なわれたヘッダ解析で得られたマクロブロックアドレスと一致するかどうかの判別が行なわれる（ステップＳ２４）。
【０１２２】
スタートコード探索時、画像伸張装置へ与えられるビットストリームはスタートコード探索に用いられ、ビットストリームに含まれるマクロブロックデータの復号処理は行なわれない。一方において、画像伸張装置からは、各処理区間ごとに後に詳細に説明するエラーコンシールメント処理が施された画像データが出力される。たとえば、制御装置において、各処理区間を規定するＭＢ同期信号ＭＢＳＹＮＣをカウントすることにより、各処理区間で処理されるセグメントのアドレス（画面上の位置）を知ることができる。したがって、制御装置において次の処理区間で処理すべきセグメントが、ヘッダ解析で得られたマクロブロックアドレスと一致するか否かを識別することができる。次に処理すべきセグメントのマクロブロックアドレスがヘッダ解析で得られたマクロブロックアドレスと一致する場合には、制御装置の制御のもとに次の処理区間から正常動作に復帰する（ステップＳ２５）。
【０１２３】
非定常状態から定常状態への復帰時においても、ヘッダ情報が先に解析されており、ＭＢ同期信号ＭＢＳＹＮＣに従ってブロックデータの復号処理が開始されるため、この非定常状態から定常状態への復帰時においても、画像伸張装置の各処理演算器の使用効率の低下は何らもたらさない。
【０１２４】
エラー発生時、各処理区間における予測画像データの読出を停止し、この期間をレートバッファからのデータ読出に利用するように構成されてもよい。エラー発生時においては、後に詳細に説明するように、マクロブロックの画素データは関連の同一画像（ピクチュア）内のマクロブロックの画素データの平均値データで置換することが可能なためである。これにより、高速で必要なスタートコードの探索を行なうことができる。
【０１２５】
図１２は、画像伸張装置におけるエラー検出からエラー復帰の処理動作に関連する部分の構成を概略的に示す図である。図１２においては、可変長符号復号化器１２１２および制御装置１２２６のみが示される。可変長符号復号化器および制御装置は、先の図３２に示す可変長符号復号化器および制御装置と同じ参照番号が用いられる。これは画像復号処理の機能が同じであることを示すためであり、その構成は上で説明したように従来の装置と異なっている。
【０１２６】
制御装置１２２６は、画像復号処理を起動する起動信号φＡＣＴおよびＭＢ同期信号ＭＢＳＹＮＣを可変長符号復号化器１２１２へ与える。可変長符号復号化器１２１２は、エラー検出信号φＥＲ、有効スタートコード（正常動作復帰に有効なスタートコード）検出指示信号φＳＤおよびセグメントのヘッダの情報をすべて解析したことを示す処理単位復号完了指示信号をφＣＰＬを出力して制御装置１２２６へ与える。次にこの図１２に示す構成の動作について、その動作シーケンス図である図１３を参照して簡単に説明する。
【０１２７】
制御装置１２２６は、ＭＢ同期信号ＭＢＳＹＮＣをアサートして可変長符号復号化器１２１２へ与える。可変長符号復号化器１２１２では、このＭＢ同期信号ＭＢＳＹＮＣのアサートに同期して、ブロックデータの復号を行ない、固定長のＤＣＴ係数データを出力する。このブロックデータの復号完了後、続いて次のセグメントのヘッダの情報を解析する。ヘッダ情報の解析がすべて完了すると、可変長符号復号化器１２１２は、処理単位復号完了指示信号φＣＰＬをアサートして制御装置１２２６へ与える。制御装置１２２６は、この処理単位復号完了指示信号φＣＰＬがアサートされると、所定の条件が満足された後に再びＭＢ同期信号ＭＢＳＹＮＣをアサートして可変長符号復号化器１２１２へ与える。これに応答して、ブロックデータの復号処理が実行される。この復号処理過程においてエラーが検出されたとき、可変長符号復号化器１２１２は、エラー検出指示信号φＥＲをアサートする。このエラー検出指示信号φＥＲのアサートに応答して、制御装置１２２６はエラー状態に入る。このエラー状態においては、後に説明するエラーコンシールメント処理などが実行される。一方、可変長符号復号化器１２１２においては、このエラー検出指示信号φＥＲのアサートに応答して、スタートコードの探索が行なわれる。有効スタートコードが検出されると、可変長符号復号化器１２１２はスタートコード検出指示信号φＳＤをアサートする。可変長符号復号化器１２１２は、このスタートコードが検出されると、スタートコードに続いて、セグメントのヘッダ部の情報を解析し、解析が終了した時点で処理単位復号完了指示信号φＣＰＬをアサートして制御装置１２２６へ与える。制御装置１２２６は、この解析されたヘッダ情報およびスタートコード情報に従って、次の処理区間で実行されるべきセグメントがヘッダ情報が解析されたセグメントであるか否かを判定し、このセグメントが次の処理区間で実行されるべきときには、この処理単位復号完了指示信号φＣＰＬのアサートに応答してＭＢ同期信号ＭＢＳＹＮＣをアサートする。したがってこの図１３に示すシーケンスにおいては、エラーが発生した処理区間の次の処理区間からは定常状態（正常状態）に復帰する。
【０１２８】
図１４は、エラー検出時の画像伸張装置の別の動作シーケンスを示す図である。図１４において、エラー検出時にエラー検出指示信号φＥＲがアサートされてから処理単位復号完了指示信号φＣＰＬがアサートされるまで、図１３に示す動作シーケンスと同じ動作シーケンスが実行される。
【０１２９】
制御装置１２２６は、処理単位復号完了指示信号φＣＰＬのアサート時、解析されたヘッダ情報からこの解析されたヘッダのセグメントが処理されるべき時期を判定する（マクロブロックアドレスの検出）。次の処理区間でこの解析されたセグメントが実行されるべきではないとき、制御装置１２２６は、処理単位復号完了指示信号φＣＰＬのアサートと先のＭＢ同期信号ＭＢＳＹＮＣからの所定の時間（図９参照）の経過とＤＲＡＭポートの空とを条件として、ＭＢ同期信号ＭＢＳＹＮＣをアサートする。エラー時には、この解析されたセグメントのブロックデータの処理は待機状態とされる。解析されて待機中のセグメントの処理区間が到達するまで、所定時間が経過するごとにＤＲＡＭポートの空きを条件としてＭＢ同期信号ＭＢＳＹＮＣがアサートされる。エラー状態においてＤＲＡＭポートの空きを条件とするのは、画像伸張装置からの復号済みのデータをＤＲＡＭポートへ書込む必要があるためである。このエラー状態において、処理単位復号完了指示信号φＣＰＬはアサート状態を維持していてもよい。すなわち、処理単位復号完了指示信号φＣＰＬは、次の処理区間でブロックデータが処理されるべきときには、ＭＢ同期信号ＭＢＳＹＮＣのアサートによりリセットされるように構成されていてもよい。
【０１３０】
待機中のセグメントが処理されるべき処理区間に到達すると、ＭＢ同期信号ＭＢＳＹＮＣのアサートに従って画像伸張装置は正常状態に移行し、この待機中のセグメントのブロックデータの復号を行なう。
【０１３１】
なお、エラー状態においてヘッダ解析時に得られた再同期セグメントアドレスから実際に復号処理される処理区間を検出して正常状態に復帰する場合には、以下の方法を用いることができる。ピクチュアの始まりを示すピクチュア同期信号（たとえば垂直同期信号ＶＳＹＮＣ）に同期してリセットされるカウンタを用いてＭＢ同期信号ＭＢＳＹＮＣをカウントし、そのカウント値に従って各処理区間のマクロブロックアドレス（画面上の位置）をモニタする。このモニタされたマクロブロックアドレスの次のアドレスが再同期アドレスに等しくなれば、待機中のセグメントのブロックデータは次の処理区間で処理されるべきである。ＭＢ同期信号ＭＢＳＹＮＣのアサート前にヘッダ情報がすべて解析されているため、この判定処理は、実際に処理が実行されるべき処理区間の前の処理区間において確実に行なうことができる。
【０１３２】
このようなエラー発生時においても、ヘッダ情報をすべて解析した後、それ以降の処理を待機状態とし、処理すべきときにＭＢ同期信号ＭＢＳＹＮＣに同期してその待機中のブロックデータの処理を実行することにより、エラー状態から正常状態への復帰時においても、処理されるべきブロックデータが即座にＭＢ同期信号ＭＢＳＹＮＣに同期して可変長符号複合化器１２１２に与えられるため、高速で処理を実行することができる。なお、図１４に示す動作シーケンスにおいてはエラー状態の期間、ブロックデータは画像伸張装置へ新たに供給されない。この区間は、後に詳細に説明するエラーコンシールメント処理が実行される。
【０１３３】
図１５は、図１２に示す可変長符号復号化器１２１２の内部構成を具体的に示す図である。図１５において、可変長符号復号化器１２１２は、図示しないバッファメモリを介してレートバッファから読出されたビットストリームを受け、可変長シンボルの先頭ビットからビットストリームデータを供給するビットストリーム供給器１と、このビットストリーム供給器１からのデータを受けてスタートコードを検出するスタートコード検出部２と、ビットストリーム供給器１からのビットストリームデータを受けてヘッダ情報の解析を行なうヘッダ解析部３と、ビットストリーム供給器１からのビットストリームデータに含まれるブロックデータを復号して、固定長の量子化ＤＣＴ係数データを生成するブロックデータ復号器４と、スタートコード検出部２と、ヘッダ解析部３と、ブロックデータ復号器４からのエラー検出信号に応答して、エラーが発生したことを検出するエラー検出部４と、この可変長符号復号化器の動作を制御する制御部６を含む。
【０１３４】
制御部６は、起動要求信号φＡＣＴ（この信号については後にリセット時の動作に関連して説明する）とＭＢ同期信号ＭＢＳＹＮＣを受け、かつエラー検出指示信号φＥＲ、処理単位復号完了指示信号φＣＰＬおよびスタートコード検出指示信号φＳＤを出力する。この制御部６は、スタートコード検出部２からの検出されたスタートコードを受け、このスタートコードが定常状態復帰に有効であるときにスタートコード検出指示信号をφＳＤをアサートする。制御部６は、またヘッダ解析部３からのヘッダ情報解析完了指示信号（ヘッダの終了ビット検出により検出される）を受けて、処理単位復号完了指示信号φＣＰＬをアサートする。制御部６は、エラー検出部５からのエラー検出信号に応答してこのエラー検出指示信号φＥＲをアサートする。
【０１３５】
制御部６は、またスタートコード検出部２からのスタートコード、ヘッダ解析部３からの解析された可変長符号後のビット長を示す情報、ブロックデータ復号器４からの復号された可変長符号後のビット長情報を受け、ビットストリーム供給器１に対し、処理された（検出、解析または復号）可変長符号を排除し、次の可変長符号後の先頭ビットを検出してヘッダ解析部３またはブロックデータ復号器４へ与える。ビットストリーム供給器１は、制御部６の下に、常に可変長符号後の最上位ビットから順次データビットを出力する。スタートコード検出部２は、常時、このビットストリーム供給器１からのビットデータをモニタし、スタートコードが含まれているか否かの検出動作を行なう。ヘッダ解析部３は、制御部６の制御の下に（この制御経路を示さず）、ブロックデータ復号器４の復号動作完了後続いてビットストリーム供給器１から与えられる可変長符号語（ヘッダ情報）の解析を行なう。ブロックデータ復号器４は、制御部６の制御の下に、ＭＢ同期信号ＭＢＳＹＮＣに同期して活性化され、ビットストリーム供給器１から与えられた可変長符号を復号する。
【０１３６】
ヘッダ解析部３からは動きベクトル、マクロブロックの処理方法（予測方法）などの情報が抽出され、またエラー発生時における復帰（再同期）セグメントアドレス情報が抽出されて制御装置へ与えられる。ブロックデータ復号器４からは固定長の量子化インデクスが出力されて次段の逆量子化器へ与えられる。
【０１３７】
なお、ヘッダ解析部３は、常時、可変長符号を解析するように説明している。しかしながら、シーケンスヘッダ、ＧＯＰヘッダおよびピクチュアヘッダなどは固定長データであり、これらは固定長復号が行なわれる。ヘッダ解析部３において固定長符号の解析が行なわれるか可変長符号の解析が行なわれるかは、スタートコード検出部２において検出されたスタートコードに従って制御部６で決定さる。制御部６は、その検出されたスタートコードに従ってヘッダ解析部３に対しいずれの解析動作を行なうかを指令する。また、これに代えて、ヘッダ解析部３がシンタクスに従って自身でいずれの動作を行なうかを判断する構成が用いられてもよい。なお、またスタートコード検出部２は、常時スタートコードを探索するように説明している。しかしながら、スタートコード検出部２は、ヘッダ解析部３およびブロックデータ復号器４の動作時にはその検出動作が停止されるように構成されてもよい。
【０１３８】
図１６は、図１２に示す制御装置の内部構成を具体的に示す図である。図１６において、制御装置１２２６は、リセット要求指示信号φＲＲＱに応答して可変長符号復号化器に対する起動指示信号φＡＣＴを出力する初期化制御回路１４と、可変長符号復号化器からのエラー検出指示信号およびスタートコード検出指示信号に従ってこの可変長符号復号化器の処理の進行状態をモニタする状態モニタ１５と、初期化制御回路１４からの起動指示信号φＡＣＴと状態モニタ１５の出力信号とピクチュアの始まりを示すピクチュア同期信号ＰＳＹＮＣと可変長符号復号化器から与えられる処理単位復号完了指示信号φＣＰＬとヘッダ情報（ブロック特定情報）とを受け、ＭＢ同期信号ＭＢＳＹＮＣを演算器の各パイプラインステージへ与える演算駆動回路１１を含む。
【０１３９】
初期化制御回路１４は、画像データの復号動作のリセットを要求するリセット要求信号φＲＲＱがアサートされると、起動指示信号φＡＣＴをアサートして可変長符号復号化器へ与える。このリセット要求信号φＲＲＱは、画像データの復号処理開始指示信号であってもよく、また外部制御装置の割込に起因するリセット要求指示信号であってもよい。また、このリセット要求信号φＲＲＱは、エラー状態が所定時間継続して発生するかまたは所定時間内にエラー検出指示信号が連続して所定回数アサートされるときに発生されてもよい。
【０１４０】
状態モニタ１５は、エラー検出指示信号φＥＲのアサート時に、可変長符号復号化器の符号復号過程においてエラーが発生したことを演算駆動回路１１へ知らせ、またスタートコード検出指示信号φＳＤのアサート時には、可変長符号復号化器が正常状態復帰の準備段階へ入ったことを演算駆動回路１１へ知らせる。
【０１４１】
演算駆動回路１１は、ＭＢ同期信号ＭＢＳＹＮＣのアサート時、タイマ１６を起動する。タイマ１６は、そのカウント動作を行ない、セットされた時間に到達するとタイムアウト信号を演算駆動回路１１へ与える。このタイマ１６は、演算駆動回路１１が、可変長符号復号化器から与えられるブロック属性情報（ヘッダ情報）に従ってそのセット時間を変更するように構成されてもよい（図８参照）。正常状態時には、演算駆動回路１１は、処理単位復号完了指示信号φＣＰＬがアサートされ、かつタイマ１６からのタイムアウト信号がアサートされ、またバスアクセスコントローラ１２からのＤＲＡＭポートが空き状態（レートバッファからの読出が完了）を示す信号を受けるとＭＢ同期信号ＭＢＳＹＮＣをアサートする。
【０１４２】
エラー発生時においては、演算駆動回路１１は状態モニタ１５の出力する信号に従って以下の動作を行なう。演算駆動回路１１は、ピクチュア同期信号ＰＳＹＮＣに応答してリセットされ、ＭＢ同期信号ＭＢＳＹＮＣのアサートごとにカウントアップするカウンタを含む（このカウンタは図示せず）。このカウンタのカウント値は、可変長符号復号化器で処理されるセグメントの画面上の位置（マクロブロックアドレス）を示す。エラー発生時、スタートコード検出指示信号φＳＤに従って状態モニタ１５から正常復帰に有効なスタートコードが検出されたことを知らされると、演算駆動回路１１は、このスタートコード検出指示信号φＳＤに続いて与えられるブロック属性情報から再同期アドレスを抽出する。この再同期アドレスとカウンタのカウント値とを比較し、次の処理区間から正常状態に復帰することができるか否かを判定する。次の処理区間から正常状態に復帰できる場合には、演算駆動回路１１は、このスタートコード検出指示信号φＳＤに続いて与えられる処理単位復号完了指示信号φＣＰＬのアサートとタイマ１６のタイムアウト指示とバスアクセスコントローラ１２からのレートバッファ読出完了指示信号とに応答してＭＢ同期信号ＭＢＳＹＮＣをアサートする。このＭＢ同期信号ＭＢＳＹＮＣに応答して、可変長符号復号化器の可変長復号器（図１５のブロックデータ復号器）以下の各処理演算器が動作する。
【０１４３】
次の処理区間がまだ正常状態に復帰すべき処理区間ではないとき、演算駆動回路１１は、タイマ１６の出力するタイムアウト信号とバスアクセスコントローラ１２のＤＲＡＭポート空きを示す信号とに従ってＭＢ同期信号ＭＢＳＹＮＣを出力する。このエラー状態（次の処理区間が正常状態に復帰すべき処理区間ではない状態）において、ＭＢ同期信号ＭＢＳＹＮＣは、可変長符号復号化器を除く各処理演算器のパイプラインステージへ与えられてもよい。またこれに代えて、ＭＢ同期信号ＭＢＳＹＮＣは可変長復号器（ブロックデータ復号器）を含むパイプラインステージの各処理演算器へ与えられ、このとき合わせて演算駆動回路１１から正常復帰禁止信号をアサートして可変長符号復号化器へ与えることにより、可変長符号復号化器による可変長復号動作を禁止する構成が用いられてもよい。エラー状態においても、画像伸張装置からは画像データが出力される（後に説明するエラーコンシールメント処理が施される）。
【０１４４】
待機中のセグメントが次の処理区間で実行されるべきときには、先に説明した状態と同様タイマ１６の出力するタイムアウト信号とバスアクセスコントローラ１２の出力するＤＲＡＭポートの空きを示す信号とに従って演算駆動回路１１がＭＢ同期信号ＭＢＳＹＮＣをアサートする。これにより演算駆動回路１１は正常状態に復帰し、カウンタのカウント値と再同期セグメントアドレスとの比較動作を停止する。この正常状態になると、演算駆動回路１１からのＭＢ同期信号ＭＢＳＹＮＣに従って可変長符号復号化器に含まれる可変長復号器（ブロックデータ復号器）以下の処理演算器が動作し、それぞれ所定の正常な処理を実行する。
【０１４５】
バスアクセスコントローラ１２は、演算駆動回路１１の制御の下に、ＤＲＡＭポートへのアクセス動作を制御する。すなわち、図３２に示すＦＩＦＯインタフェース１２１０およびメモリインタフェース１２２４のポート制御を順次所定の順序で実行する。すなわちバスアクセスコントローラ１２は、演算駆動回路１１からのＭＢ同期信号ＭＢＳＹＮＣに同期して（正常動作時）、まずメモリインタフェース１２２４を介して画素再構成器１２２０からの復号完了の画像データを外部メモリ（ＤＲＡＭ）１２３０へ書込む。この書込動作の完了後、バスアクセスコントローラ１２は、ＦＩＦＯインタフェース１２１０からのビットストリームのメモリインタフェース１２２４を介しての外部メモリ（ＤＲＡＭ）への書込（レートバッファへの書込）、メモリインタフェース１２２４を介しての画素バスインタフェース１２２２への外部メモリ（ＤＲＡＭ）１２３０からの表示画像データへの読込、メモリインタフェース１２２４を介しての外部メモリ（ＤＲＡＭ）１２３０からの予測画像データの転送、およびＦＩＦＯインタフェース１２１０およびメモリインタフェース１２２４を介しての外部メモリ（ＤＲＡＭ）１２３０からのデータの可変長符号復号化器への転送（図示しないバッファメモリへの転送）（レートバッファの読出）を実行する。この間、所定間隔でバスアクセスコントローラ１２は外部メモリ（ＤＲＡＭ）１２３０のリフレッシュを実行し、このリフレッシュの間、外部メモリへのアクセスを禁止する。エラー状態時においては、バスアクセスコントローラ１２は、この予測画像データ読出期間を、演算駆動回路１１からのエラー状態指示信号に応答して、レートバッファからのデータ読出期間として利用する構成が用いられてもよい。予測画像データの読出完了時点は、演算駆動回路１１からのブロック属性情報に従って決定される構成が用いられてもよい。
【０１４６】
エラーコンシール制御回路１３は、その動作は後に詳細に説明するエラーコンシールメント処理を制御する。このエラーコンシール制御回路１３は、状態モニタ１５からのエラー検出指示信号φＥＲに応答して起動されてスキャン変換部または画素再構成器およびスキャン変換部に対しエラーコンシール処理を指令し（信号φＥＲＲ）、演算駆動回路１１からの正常状態復帰指示に応答してこのエラーコンシール処理完了を指令する。
【０１４７】
以上のように、この発明の実施例に従えば、エラー発生時において、エラー状態から定常状態復帰に有効なスタートコードを検出し、次いで、セグメントのヘッダ情報の解析までを実行し、このセグメントのブロックのデータの処理を実際に指示されるべき処理区間到達まで待合せているため、エラー発生時においても処理演算器の使用効率を低下させることなく正常状態への復帰を行なうことができる。
【０１４８】
エラーコンシールメント処理１：
図１７は、この発明に従う画像伸張装置の画素再構成器１２２０の構成を概略的に示す図である。図１７において、画素再構成器１２２０は、メモリインタフェース１２２４を介して与えられるデータを一時的に格納するバッファメモリ２０と、このバッファメモリ２０に格納された画像データを用いて予測画像を生成する予測画像フィルタ部２１と、逆離散コサイン変換部（ＩＤＣＴ）１２１８からのデータと予測画像フィルタ部２１の出力信号とを加算し、ＤＰＣＭ復号を行なう加算器として示される演算器２２と、ＩＤＣＴ１２１８の出力するデータと演算器２２の出力するデータと予測画像フィルタ部２１からの画素データのいずれかを選択する選択回路２３と、選択回路２３の出力データを一時的に格納するバッファメモリ２４を含む。このバッファメモリ２４の格納データは、復号済みの画素データとしてメモリインタフェース１２２４を介して外部メモリ（ＤＲＡＭ）へ格納される。Ｂピクチュアのマクロブロックタイプは、（１）前後の予測をともに用いないフレーム内／フィールド内（イントラ）予測、（２）過去の再生画像から予測される順方向予測、（３）未来から予測される逆方向予測、および（４）過去および未来両方の画像を用いる内挿的予測の４種類を含む。
【０１４９】
予測画像フィルタ部２１は、このマクロブロックタイプに従って所定の処理を行なって予測画像を生成する。画素再構成器１２２０はさらに、画素再構成の動作を制御するための制御部２５を含む。制御部２５は、可変長符号復号部から与えられるヘッダ情報と制御装置（図１６参照）からのＭＢ同期信号ＭＢＳＹＮＣとエラー検出指示信号φＥＲＲと制御装置（バスアクセスコントローラ）からのバス使用許可信号とを受ける。制御部２５は、このヘッダ情報に含まれるマクロブロックタイプに従って予測画像フィルタ部２１で実行されるフィルタ処理を決定する。また、ＭＢ同期信号ＭＢＳＹＮＣに同期して制御部２５は、バッファメモリ２０のデータの書込および読出、ならびにバッファメモリ２４のデータの書込および読出を制御する。メモリインタフェース１２２４を介してバッファメモリ２０へ読込まれる画像データは、可変長符号復号化器においてデータ解析部の解析結果により生成された動きベクトル情報に従ってアドレスが生成されて外部メモリ（ＤＲＡＭ）から読出される。エラー発生時においては、この動きベクトル情報は送付された動きベクトル情報に基づいて構成される。後に説明するように、エラー時には、この動きベクトルはゼロに設定されてもよい。また、これに代えて、エラー時には１ライン前のマクロブロックの動きが用いられてもよい。すなわち、エラー発生時には、予測画像における対応の画像のマクロブロックデータが読出される。
【０１５０】
選択回路２３は、制御部２５の制御のもとに、処理されたマクロブロックが、イントラ予測されたマクロブロック（Ｉピクチュアおよびイントラ予測されたＢピクチュア）の場合には、ＩＤＣＴ１２１８からのデータを選択し、イントラ予測以外の予測符号化されたマクロブロックに対しては演算器２２の出力するデータを選択し、エラー発生時には、予測画像フィルタ部２１からの出力データを選択する。次にこの図１７に示す画素再構成器を用いた際のエラー対策動作について説明する。
【０１５１】
図１８は、エラー発生時における画像伸張装置のエラー対策動作を示す動作シーケンス図である。図１８に示すように、画像伸張装置は、セグメント（マクロブロック）単位で４段のパイプラインステージを構成する（先の実施例と同様）。今、セグメントＭＢ＃１１のブロックデータの復号過程でエラーが発生した状態を考える。この状態においてエラー検出指示信号φＥＲ（φＥＲＲ）がアサートされ、可変長符号復号化器および制御装置においては先に説明したエラー時の動作が実行される。このエラーが発生した処理区間においては、図１７に示す復号画素再構成器１２２０においては画素復号動作が行なわれており、復元された画素データがバッファメモリ２４に格納される。次の処理区間が始まるとき、メモリインタフェース１２２４を介してバッファメモリ２２にマクロブロックＭＢ＃１２に相当する部分のエラーコンシールメント用の予測画像データが格納される。予測画像フィルタ部２１においては、マクロブロックＭＢ＃１１に対する予測画像データの生成を行なっている。一方、ＩＤＣＴ１２１８からは、マクロブロックＭＢ＃１０のブロックデータの逆量子化後のデータが生成され、そのマクロブロックタイプに応じて選択回路２３を介して画素復元されたデータが生成されてバッファメモリ２４に順次書込まれる。一方、バッファメモリ２４においては、先に格納したマクロブロックＭＢ＃９の復号済の画素データがメモリインタフェース１２２４を介してＤＲＡＭに書込まれる。ここで、バッファメモリ２０および２４は、その格納データがすべて読出された後に新たなデータの書込が行なわれる。
【０１５２】
以降、順次パイプライン処理が実行され、このエラー状態時においては、順次外部メモリ（ＤＲＡＭ）から、別のピクチュアの対応のマクロブロックのデータが読出されて画像データが生成される（図１８における斜線を施した領域）。
【０１５３】
マクロブロックＭＢ＃１２の処理区間において読出された予測画像画素データは、選択回路２３により選択される。これにより、予測画像の対応の画素データが順次バッファメモリ２４に格納される。予測画像フィルタ部２１は、エラー検出時においては、予め定められたルールに従ってフィルタ処理を行なう。
【０１５４】
したがって、マクロブロックＭＢ＃１５が処理される処理区間からエラー対策が施された画素データ、すなわち予測画像の画素データがＤＲＡＭに順次格納される。
【０１５５】
エラー状態がマクロブロックＭＢ＃１６の処理区間で完了すると、次の処理区間からマクロブロックＭＢ＃１７の処理が実行される。この場合、選択器２３は、マクロブロックＭＢ＃１７のブロックデータの処理がパイプラインの第３ステージに到達したときに、そのヘッダ情報に従ってＩＤＣＴ１２１８の出力するデータまたは演算器２２の出力するデータの一方を選択する。
【０１５６】
上述の一連の動作により、エラー状態においてはエラーにより欠落した画素データを予測画像の画素データで置換することができ、エラービット混入による復号画像の劣化を抑制することができる（図１９参照）。すなわち、図１９に示すように、エラー状態において、マクロブロックＭＢ＃１２〜ＭＢ＃１６の復号画像の画質の劣化を抑制することができる。
【０１５７】
エラーコンシールメント処理２：
図２０は、この発明に従う第２のエラーコンシールメント処理を実現するための画素再構成器１２２０の構成を示す図である。この図２０に示す画素再構成器の構成においては、制御部３５は、ヘッダ情報、ＭＢ同期信号ＭＢＳＹＮＣ、バスアクセスコントローラの出力信号および制御装置に含まれるエラーコンシール制御回路からの出力信号φＥＲＲに応答して、エラー状態時においては、選択回路３３を、ＩＤＣＴ１２１８の出力信号を選択する状態に設定する。他の構成は図１７に示す構成と同様であり、対応する部分には同一の参照番号を付す。正常状態においては、制御部３５は、予測画像フィルタ部２１からの画素データとＩＤＣＴ１２１８の出力する画素データを演算器２２で演算処理（ＤＰＣＭ復号）させた後、このピクチュアのタイプに従ってＩＤＣＴ１２１８の出力信号または演算器２２の出力信号を選択回路３３により選択してバッファメモリ２４へ書込む。エラー状態時においては、すなわち、信号φＥＲＲの活性化時には、ピクチュアタイプにかかわらず、制御部３５は、選択回路３３を制御してＩＤＣＴ１２１８の出力するデータを選択する状態に設定する。
【０１５８】
ＩＤＣＴ１２１８へは、次にその構成を詳細に説明するスキャン変換部１２１６の出力するデータが与えられる。スキャン変換部１２１６は、以下に詳細に説明するように、エラー状態時においては、同一のピクチュア内の、復号処理された１ライン前のマクロブロックデータ（ＩＤＣＴ処理前のデータ）または予め定められた固定値（１ライン前のマクロブロックが存在しないとき）をエラーが発生した処理区間に続く処理区間からＩＤＣＴ１２１８へ与える。
【０１５９】
図２１は、図２０に示すスキャン変換部１２１６の内部構成を詳細に示す図である。図２１において、スキャン変換部１２１６は、逆量子化器から出力される逆量子化されたＤＣＴ係数データを順次格納し、次いでラスタ走査順に出力するバッファメモリ４０と、このバッファメモリ４０のデータの書込および読出を制御するリード／ライト制御回路４１と、バッファメモリ４０から読出されたＤＣＴ係数の平均値を求める平均化回路４２と、この平均化回路４２の出力する平均値データのうちたとえば１ラインのマクロブロックのデータをＦＩＦＯ態様で格納するメモリ４３と、メモリ４３のデータの書込および読出を制御するリード／ライト制御回路４４と、リード／ライト制御回路４４の制御のもとにバッファメモリ４０の出力するＤＣＴ係数データおよびメモリ４３からのデータの一方を選択してＩＤＣＴ１２１８へ出力する選択回路４５を含む。
【０１６０】
リード／ライト制御回路４１は、ＭＢ同期信号ＭＢＳＹＮＣに同期して、前段の逆量子化器から与えられた逆量子化ＤＣＴ係数データを格納する。このリード／ライト制御回路４１は、単にバッファメモリ４０に対するリードアドレスとライトアドレスを変換する機能を備えており、ジグザグスキャン態様で走査されたＤＣＴ係数をラスタ走査順に再配列して出力するようにそのアドレスを調整する。このアドレスの発生の態様は、リードアドレスおよびライトアドレスの一方が、予め定められたシーケンスで発生され、他方が順次インクリメントされて、ジグザグスキャンされた画素データをラスタ走査順に再配列するように構成されればよい。ジグザグスキャン変換器１２１６は、特にパイプラインステージには含まれていない。これは、バッファメモリ４０により、１つのバッファ回路として機能するためである。リード／ライト制御回路４１は、したがって、ＤＣＴ係数データの始まりを示す入力同期信号に同期してアドレスを発生するように構成されてもよい。
【０１６１】
平均化回路４２は、このバッファメモリ４０から読出されたＤＣＴ係数データの平均値を求める。このとき、すべてのＤＣＴ係数データの算術平均値（ＤＣ係数およびＡＣ係数すべて）により平均値が求められてもよい。しかしながら、８×８画素のブロックにおいて、ＤＣ係数はそのブロックの画素データの平均値を示す。したがって、平均化回路４２は、１つのマクロブロックに対し輝度信号に対して４つのブロックのＤＣ係数データの平均値を求め、色差信号に対しては、そのＤＣ係数を平均値として求める構成が利用されてもよい。
【０１６２】
メモリ４３は、ＦＩＦＯ態様でたとえば１ライン分の各マクロブロックに対するＤＣＴ係数の平均値データを格納する。次にこの図２０および２１に示すスキャン変換部および画素再構成器の動作をその動作シーケンス図である図２２を参照して説明する。
【０１６３】
図２２においては、マクロブロックＭＢ＃１１のブロックデータの復号化時においてエラーが発生し、マクロブロックＭＢ＃１７から正常状態に復帰する際の動作が一例として示される。
【０１６４】
エラー検出指示信号φＥＲがアサートされると、応じてエラーコンシール制御回路からのエラー指示信号φＥＲＲがアサートされる（図２２にはφＥＲＲは示さず）。このエラー検出指示信号φＥＲＲのアサートに応答して、図２１に示すリード／ライト制御回路４４は、メモリ４３に対する平均値データの書込を禁止する。すなわち、エラーが検出された場合に算出されるＤＣＴ係数データの平均値の格納が禁止される。メモリ４３には、したがってマクロブロックＭＢ＃９までの１ライン分のマクロブロックのＤＣＴ係数の平均値が格納される。マクロブロックＭＢ＃１０のＤＣＴ係数の平均値データはメモリ４３には格納されない。メモリ４３の先頭アドレス位置には、マクロブロックＭＢ＃１０の１ライン前のマクロブロックのＤＣＴ係数の平均値データが格納される。このエラーが発生された処理区間においては、マクロブロックＭＢ＃９の画素復元処理が実行されている。すなわち、図２０に示す選択回路３３は、制御部３５の出力信号に従って、演算器２２の出力信号またはＩＤＣＴ１２１８の出力するデータの一方を選択してバッファメモリ２４へ与えている。
【０１６５】
エラーが発生した次の処理区間においては、図２１に示すリード／ライト制御回路４４は、エラー指示信号φＥＲＲに応答してメモリ４３から先頭位置に格納された１ライン前のマクロブロックのＤＣＴ係数の平均値データを読出して、選択回路４５を介してＩＤＣＴ１２１８へ与える。メモリ４３は、マクロブロックの輝度ブロックに対して１つの平均値データを格納してもよく、また輝度信号ブロックそれぞれに対し平均値データを格納していってもよい（ＩＤＣＴ１２１８は８画素×８画素を単位として逆離散コサイン変換処理を実行するため）。
【０１６６】
また、図２０に示す選択回路３３は、制御部３５の制御のもとに、ＩＤＣＴ１２１８の出力するデータを選択する状態に設定される。したがって、エラーが発生した処理区間の次の処理区間においては、１ライン前のマクロブロックの画素データに従って画素復元（ＤＰＣＭ復号）が実行される。したがって、図２２に示すように、エラーが発生したマクロブロックよりも１つ前のマクロブロックからエラーコンシールメント処理を実行することができ、エラーが発生したマクロブロックに対してもエラーコンシールメント処理を実行することができ、エラービット混入による画質劣化をより抑制することができる。メモリ４３からは、ＭＢ同期信号ＭＢＳＹＮＣに同期して、各処理区間ごとに順次異なるマクロブロックのデータが読出される。
【０１６７】
エラー状態から正常状態に復帰するときには、エラー指示信号φＥＲＲがデアサートされると、その処理区間においてはメモリ４３からのデータを選択してＩＤＣＴ１２１８へ与え、次の処理区間においては平均化回路４２からの平均値データをメモリ４３へ書込み、その次の処理区間においては選択回路４５をバッファメモリ４０の出力を選択する状態に設定する。
【０１６８】
メモリ４３においては、ＦＩＦＯ態様でデータ格納されているため、新たにマクロブロックＭＢ＃１７のブロックデータの平均値がメモリ４３にＦＩＦＯ態様で書込まれても、１ライン分の画素ブロックデータが順次格納される状態は維持される。
【０１６９】
なお、正常状態復帰時において、バッファメモリ４０は、前段の逆量子化器から与えられるブロックデータの始まりを示す入力同期信号に同期してリード／ライト制御回路４１の制御のもとにデータの書込が行なわれる構成が利用されてもよい。またこのとき、リード／ライト制御回路４１へ制御装置からの正常状態復帰指示信号が与えられ、正常状態復帰指示信号が与えられた処理区間から書込が行なわれてもよい（スキャン変換部が第１段のパイプラインステージの最終段を構成するとき（バッファへのデータ書込までが第１段のパイプラインステージ））。または正常状態復帰の処理区間の次の処理区間からリード／ライト制御回路４１の制御のもとにバッファメモリ４４へのデータ書込が行なわれてもよい（スキャン変換部が第３段のパイプラインステージを構成する場合）。また、このスキャン変換部１２１６は、第２段のパイプラインステージを構成するように配置されてもよい。
【０１７０】
また、エラー発生がピクチュアの先頭で生じたときには、対応の平均値データは存在しないので、予め定められた固定値が用いられる。この構成は示していないが、処理されるマクロブロックのアドレス（画面上の位置）情報に従って平均値データおよび固定値データの一方を選択する構成が用いられればよい。
【０１７１】
図２３は、図２０ないし図２２に示す第２のエラーコンシールメント処理におけるエラーコンシールメント処理されたマクロブロックの態様を示す図である。図２３に示すように、エラーが発生したマクロブロックＭＢ＃１１よりも１つ前のマクロブロックＭＢ＃１０から１ライン前のマクロブロックの画素データを用いてエラーコンシールメント処理が実行されている。すなわちマクロブロックＭＢ＃１０〜ＭＢ＃１６ブロックデータはそれぞれ同一ピクチュア内の１ライン前のマクロブロックＭＢ＃２〜ＭＢ＃８の画素データにより置換されている。
【０１７２】
なお、上述の説明においては、エラー発生時においては、先行するマクロブロックのブロックデータの平均値を用いてエラーコンシールメント処理を行なうように示している。しかしながら、メモリに余裕がある場合、画素再構成部１２２０において、１ライン分のマクロブロックの画素データを格納するラインメモリを配置し、エラー発生時にはこのラインメモリに格納された復号済のマクロブロックの画素データを用いてバッファメモリ２４を介して外部メモリ（ＤＲＡＭ）へ格納し、各画素データそれぞれを先行する１ライン前のマクロブロックの画素データそれぞれで置換する構成が利用されてもよい。
【０１７３】
以上のように、この発明の実施例の構成に従えば、画像伸張装置のパイプラインステージを有効に利用して、効率的にエラーコンシールメント処理を実行することができる。特に、同一ピクチュア内の復号データ（可変長復号化されたデータ）を用いてエラーコンシールメント処理を行なう場合、エラーが検出されたセグメント（マクロブロック）よりも処理の順序で前のマクロブロックからエラーコンシールメント処理を実行することができ、より効果的なエラーコンシールメント処理を行なうことができ、エラービット混入による画質劣化を抑制することができる。
【０１７４】
初期化動作１：リスタート（エラーからの復帰）
図２４は、画像伸張装置の初期化動作を示すフロー図である。以下、この発明に従う画像伸張装置の初期化動作について説明する。
【０１７５】
まずリセット要求が出されたか否かの判別が行なわれる（ステップＳ３０）。このリセット要求は、外部制御装置の割込による表示の中断およびエラー状態が所定時間以上継続する場合（エラー状態から正常状態へ復帰しまたエラー状態が復帰する状態が連続する場合）などのリスタート時に発生される。
【０１７６】
リセット要求（リスタート指示）が出されると、まず制御装置１２２６（図１６参照）が、この画像伸張装置が、画像データの復号動作を行なっているか否かの判別を行なう（ステップＳ３１）。画像データの復号動作を行なっている場合（画素復元動作を行なっている場合：エラー状態時の動作を含めて）、ＭＢ同期信号ＭＢＳＹＮＣの次の処理区間からの発生が停止される（ステップＳ３２）。ＭＢ同期信号ＭＢＳＹＮＣの発生が停止されると、起動信号φＡＣＴがアサートされて可変長符号復号化器（図１５参照）へ与えられる。ステップＳ３１において、画素復元動作が行なわれていない場合においては、ステップＳ３２がスキップされてステップＳ３３の起動信号φＡＣＴのアサートが行なわれる。
【０１７７】
可変長符号復号化器においては、この起動信号φＡＣＴのアサートに応答して、ピクチュアの始まりを示すスタートコードを探索する。すなわちシーケンススタートコード、ＧＯＰスタートコード、およびピクチュアスタートコードの探索が行なわれる。このときには、スライススタートコードが検出されても、このスライススタートコードは無視される。ピクチュアの始まりを示すスタートコードが検出されると、このスタートコードに続くヘッダ部の情報の解析が行なわれ、マクロブロックレイヤのセグメントのヘッダ情報の解析が行なわれる（ステップＳ３４）。このヘッダ情報を解析した状態で所定条件が成立するのを待つ（ステップＳ３５）。この所定条件としては、レートバッファに十分な量のビットストリームが格納されていることおよび外部の表示制御装置から与えられる垂直同期信号がアサートされることである。レートバッファに十分な量のビットストリームが格納されているか否かは、図１６に示すバスアクセスコントローラ１２を介して外部メモリ装置（ＤＲＡＭ）のＦＩＦＯ領域の書込アドレスと読出アドレスの差を検出することにより判別することができる。所定条件が成立すると、制御装置は、ピクチュアの始まりを示すピクチュア同期信号をアサートして、その内部に含まれるマクロブロックアドレスを示すカウンタをリセットし、このピクチュア同期信号に同期してＭＢ同期信号をアサートして画像伸張装置に定常動作を実行させる（ステップＳ３６）。このピクチュア同期信号に同期してＭＢ同期信号をアサートすることにより、リセット要求が行なわれて新たなピクチュアを表示するとき、外部制御装置から与えられたたとえば垂直同期信号に同期して正確に表示画像データの読出を行なうことができる。また画像表示に合わせて画素復号動作を順次実行することができる。
【０１７８】
ステップＳ３０からステップＳ３３までの一連の動作が図１６に示す初期化制御回路１４により実行される。
【０１７９】
初期化動作２：リセット動作
図２５は、画像伸長装置の他の初期化動作を示すフロー図である。以下、この発明に従う画像伸長装置の他の初期化動作について説明する。この初期化動作においては、ユーザが新たに画像表示を指定する。
【０１８０】
まず、リセット要求（初期化指示）が出されたか否かの判別が行なわれる（ステップＳ４０）。このリセット要求は、ユーザからの画像表示指定に従って、ハードウェアまたはソフトウェア（レジスタ値のセット）により発生される。
【０１８１】
リセット要求が出され、新たな画像の表示が指定されると、このときには、画像伸長装置は、何ら画像データの復号動作を行なっていないため、起動信号φＡＣＴがアサートされて、可変長符号復号化器（図１５参照）へ与えられる（ステップＳ４１）。
【０１８２】
可変長符号復号化器においては、この起動信号φＡＣＴのアサートに応答して、シーケンススタートコードを探索する。ＧＯＰスタートコード、ピクチュアスタートコードおよびスライススタートコードが検出されても、これらのスタートコードは無視される。シーケンススタートコードが検出され、次いでピクチュアの始まりを示すスタートコードが検出されると、このスタートコードに続くヘッダ部の情報の解析が行なわれ、マクロブロックレイヤのセグメントのヘッダ情報の解析が行なわれる（ステップＳ４２）。このヘッダ情報を解析した状態で、所定条件が成立するのを待つ（ステップＳ４３）。この所定の条件としては、先の図２４におけるステップＳ３５において説明したのと同じ条件が用いられる。すなわち、レートバッファに十分な量のビットストリームが格納されていることおよび外部の表示制御装置から与えられる垂直同期信号がアサートされることである。所定条件が成立すると、制御装置は、ピクチュアの始まりを示すピクチュア同期信号をアサートして、その内部に含まれるマクロブロックアドレスを示すカウンタをリセットし、このピクチュア同期信号に同期してＭＢ同期信号をアサートして画像伸長装置に定常動作を行なわせる（ステップＳ４４）。このピクチュア同期信号に同期してＭＢ同期信号をアサートすることにより、リセット要求が行なわれて、新たなシーケンスのピクチュアを表示する場合において、外部制御装置から与えられるたとえば垂直同期信号に同期して正確に表示画像データの読出を行なうことができ、また画像表示に合わせて画素復号動作を順次実行することができる。
【０１８３】
この一連の処理動作は、図１６に示す初期化制御回路１４により実行される。起動信号φＡＣＴは、リスタートを指定するリセット要求時および初期化を指定するリセット要求時において同じ信号がアサートされるように示される。これらは別々の信号であり起動信号φＡＣＴの種類に応じて、リスタート時および初期化時において探索対象とされるスタートコードの区別が行なわれる。
【０１８４】
図２６は、リセット動作時における画像伸張装置の動作の一例を示す図である。図２６においては、外部から画像表示を指令する初期化指示（リセット指示）が与えられる状態が一例として示される（図２５参照）。この状態においては、画像伸張装置は、画素復号動作は行なっていないため、ＭＢ同期信号ＭＢＳＹＮＣはアサートされていない。
【０１８５】
リセット要求信号φＲＲＱがアサートされると、起動信号φＡＣＴが図１６に示す初期化制御回路から出力される（アサートされる）。この起動信号φＡＣＴのアサートに応答して、可変長符号復号化器は、画像の始まりを示すスタートコードを探索する。この探索動作時において、制御装置の制御のもとにレートバッファからデータの読出が行なわれる。レートバッファにまだビットストリームが格納されておらず、リセット要求信号φＲＲＱ発生時において初めてビットストリームが到達する場合には、制御装置は、ＦＩＦＯインタフェースを介して与えられたビットストリームを直接可変長符号化復号器へ与え、スタートコード探索を行なわせる。可変長符号復号化器は、スタートコード検出器（図１５参照）で検出されたスタートコードを制御部６で解析し、シーケンススタートコードの検出に続いてピクチュアの始まりを示すスタートコードを検出して、それに続くヘッダ情報を解析する。リスタート時には、マクロブロックレイヤより上のスタートコードの探索が行なわれ、その検出後ヘッダ情報の解析が行なわれる。マクロブロックレイヤのセグメントのヘッダ情報の解析が完了すると、可変長符号化復号器が、処理単位復号完了指示信号φＣＰＬをアサートする。制御装置は、処理単位復号完了指示信号φＣＰＬのアサートに応答して、所定の条件が成立するのを待つ。所定条件が成立すると、すなわちレートバッファに十分な量のビットストリームが格納されかつ垂直同期信号が与えられると、制御装置は内部でピクチュア同期信号ＰＳＹＮＣをアサートし、かつこのピクチュア同期信号に同期してＭＢ同期信号ＭＢＳＹＮＣをアサートする。最初の処理区間においては、ヘッダ情報が解析されたセグメントのブロックデータの復号およびこのセグメントに続くヘッダ情報の解析が実行される。以降、各処理区間においてヘッダ情報の解析が行なわれかつ所定の条件が成立するごとにＭＢ同期信号ＭＢＳＹＮＣがアサートされる。
【０１８６】
この一連の初期化動作により、エラー復帰動作を含むリセット動作時においても、確実にＭＢ同期信号ＭＢＳＹＮＣ信号のアサートに応答してセグメントのブロックデータの復号処理を開始することができ、高速演算処理が実現される。
【０１８７】
なお、上述の実施例においては、画素データ復号処理にあたって、ＭＰＥＧ規格に従って符号化された画像データ（画素データ）の復号処理を示している。しかしながら、このようなＭＰＥＧ規格の符号化された画素データではなく、可変長符号があるサイズのデータブロック単位で処理される場合においても、そのブロックデータに対しヘッダ情報が可変長符号で付されている場合には、本願発明は適用可能である。また、ＤＣＴ変換処理ではなく、他の直交変換処理されたデータであっても本発明は適用可能である。
【０１８８】
【発明の効果】
請求項１に係る画像伸張装置においては、１処理区間内においてデータブロックの処理に続いてヘッダ情報の解析を行ない、このヘッダの解析情報のすべての解析が完了した後にデータ処理開始を指示している。１つの処理区間はデータブロックの復号処理に始まりヘッダ情報の解析で終了する。したがって、データ処理開始が指示されるとき、処理演算器は即座に処理を実行することができ、処理演算器の使用効率が改善され、高速でデータ処理を実行することができる。また処理演算器の待機時間が短くなるため、１処理区間の時間期間を短くすることができる。
【０１８９】
請求項２に係る画像伸張装置においては、処理区間の時間期間はヘッダの情報の解析結果に従って変更するように構成しているため、処理対象となるセグメントの属性に応じて処理区間の時間期間を変更することができ、処理対象となるセグメントの属性に応じて最適な処理区間長さを設定することができ、固定長時間の処理区間の場合に生じる可能性のある、１つの処理区間すべてが完了しない場合に次の処理区間が始まるような誤動作を防止することができ、効率的かつ正確に画像データの処理を行なうことができる。
【０１９０】
請求項３に係る画像伸張装置においては、データブロックデータの復号処理と並行して外部メモリへのアクセスが実行されるように構成しているため、外部メモリへのアクセスが画素データ復元処理に及ぼす影響を排除することができ、処理時間を短縮することができる。また、この外部メモリへのアクセスを、復元データの書込、入来ビットストリームの書込、表示画像データの読出、予測画像データの読出、およびビットストリームの読出順序で順次行なうことにより、データ処理手段におけるパイプライン処理に必要とされるデータの破損を伴なうことなく効率的に必要とされるデータをデータ処理部へ与えることができる。
【０１９２】
請求項４に係る発明においては、セグメントの処理区間を１処理単位としてパイプラインを構成しているため、各パイプラインの演算器の使用効率の低下を最小限に抑制することができ、高速データ処理が可能となる。また、パイプラインステージにより、１処理単位（セグメント）を複数の処理区間でパイプライン的に分担することができるため、処理区間の時間期間を短くすることができ、高速データ処理が可能となる。
【０１９３】
請求項５に係る発明に従えば、パイプラインステージをセグメント単位として、その処理内容に応じて４段のパイプライン構成としているために、処理区間の時間期間が変動しても、最小の処理演算器の待ち時間でパイプライン動作を実施することができ、高速データ処理を行うことができる。また、このパイプライン化により、ヘッダ情報の解析をデータ処理と並行して行うことができ、処理区間の時間期間を短縮することができ、高速データ処理が実現される。
【０１９４】
請求項６に係る発明に従えば、エラー発生時には、パイプラインステージ内においてエラーが検出されたセグメントより前のセグメントのブロックデータの修復処理を行っているため、パイプラインステージの遅延を効率的に利用してエラー修復処理を施すことができ、エラービット混入による復号画像の画質劣化を抑制することができる。
【０１９５】
請求項７に係る発明に従えば、リセット要求が出されたときには、所定のパターンを有するコードを探索し、検出コードに続くセグメントのヘッダ情報をすべて解析した後所定の条件が成立するまでデータの処理を待合せており、処理開始の条件の成立時に、このセグメントのデータブロックの処理を実行しているため、リセット時においても確実に画像の最初から処理を実行することができるとともに、処理開始に応じて即座に処理演算器を動作させてデータ処理を行うことができ、高速データ処理を実現することができる。
【０１９６】
請求項８に係る発明に従えば、外部から与えられる画像の開始を示す同期信号に同期してデータ復号処理を開始させるように構成しているため、リセット時においても外部制御装置から与えられる同期信号との同期を確立して、確実な画素データの保護処理および表示画像データの読出を行うことができる。
【図面の簡単な説明】
【図１】  この発明に従う画像伸張装置の１処理区間の動作を概略的に示す図である。
【図２】  この発明に従う画像伸張装置の１処理区間（単位）の構成およびパイプライン化の効果を説明するための図である。
【図３】  この発明に従う画像伸張装置の１処理区間の動作およびＤＲＡＭポートの動作を示す図である。
【図４】  この発明に従う画像伸張装置およびＤＲＡＭポートの他の動作シーケンスを示す図である。
【図５】  この発明に従う画像伸張装置に用いられる逆量子化器の入出力信号の構成を示す図である。
【図６】  図５に示す逆量子化器の入出力信号の関係を例示する図である。
【図７】  この発明に従う画像伸張装置の処理演算器のパイプライン構成およびブロックデータの処理シーケンスを示す図である。
【図８】  この発明に従う画像伸張装置における１処理区間の時間期間を設定するための動作を示すフロー図である。
【図９】  この発明に従う画像伸張装置における１処理区間を決定するための別の動作シーケンスを示す図である。
【図１０】  この発明に従う画像伸張装置におけるエラー状態時の動作を示すフロー図である。
【図１１】  この発明において利用されるセグメントのヘッダおよびそれに付随するスタートコードの構成を例示的に示す図である。
【図１２】  この発明に従う画像伸張装置におけるエラー状態の動作に関連する部分の構成を示す図である。
【図１３】  図１２に示す構成のエラー状態時における動作シーケンスを示す図である。
【図１４】  図１２に示す構成のエラー状態時における他の動作シーケンスを示す図である。
【図１５】  図１２に示す可変長符号復号化器の内部構成を示す図である。
【図１６】  図１２に示す制御装置の内部構成を示すブロック図である。
【図１７】  この発明に従う画像伸張装置における画素再構成器の構成を示す図である。
【図１８】  この発明に従う画像伸張装置におけるエラー状態時の動作シーケンスを示す図である。
【図１９】  この発明に従う画像伸張装置におけるエラーコンシールメント処理の態様を示す図である。
【図２０】  この発明に従う画像伸張装置における画素再構成器の他の構成を示す図である。
【図２１】  図２０に示すスキャン変換器の構成を示す図である。
【図２２】  この発明に従う画像伸張装置におけるエラー状態時の他の動作シーケンスを示す図である。
【図２３】  図２２に示す動作シーケンスにおけるエラーコンシールメント処理を説明するための図である。
【図２４】  この発明に従う画像伸張装置のリセット時（リスタート時）の動作を示すフロー図である。
【図２５】  この発明に従う画像伸長装置のリセット時（初期化時）の動作を示すフロー図である。
【図２６】  この発明に従う画像伸張装置のリセット時の動作シーケンスの一例を示す図である。
【図２７】  この発明が対象とする可変長符号を生成するための構成を説明するための図である。
【図２８】  この発明が適用される画像伸張装置におけるＧＯＰレイヤにおけるピクチュアの配列の態様を示す図である。
【図２９】  この発明が対象とする画像データの構成を説明するための図である。
【図３０】  この発明が対象とする画像データのシンタクスを説明するための図である。
【図３１】  図３０に示すスライスレイヤを説明するための図である。
【図３２】  図３０に示すブロックレイヤの構成を説明するための図である。
【図３３】  この発明が対象とする画像伸張装置の構成を概略的に示すブロック図である。
【図３４】  図３３に示す外部メモリのメモリ領域の構成を示す図である。
【図３５】  従来の画像伸張装置の処理区間を説明するための図である。
【図３６】  従来の画像伸張装置の動作を説明するための図である。
【図３７】  スタートコードの構成を示す図である。
【図３８】  マクロブロックレイヤのヘッダ部の構成を示す図である。
【図３９】  従来の画像伸張装置の問題点を説明するための図である。
【図４０】  従来の画像伸張装置の問題点を説明するための図である。
【符号の説明】
１  ビットストリーム供給器、２  スタートコード検出部、３  ヘッダ解析部、４  ブロックデータ復号器、５  エラー検出部、６  制御部、１１  演算駆動回路、１２  バスアクセスコントローラ、１３  エラーコンシール制御回路、１４  初期化制御回路、１５  状態モニタ、１６  タイマ、２０  バッファメモリ、２１  予測画像フィルタ部、２２  演算器、２３  選択器、２４  バッファメモリ、２５  制御部、４０  バッファメモリ、４１  リード／ライト制御回路、４２  平均化回路、４３  メモリ、４４  リード／ライト制御回路、４５  選択回路、３３  選択回路、３５  制御部、１２１２  可変長符号復号化器、１２１４  逆量子化器、１２１６  スキャン変換器、１２１８  逆離散コサイン変換器、１２２０  画素再構成器、１２２２  画素バスインタフェース、１２２４  メモリインタフェース、１２１０  ＦＩＦＯインタフェース、１２２６  制御回路、１２３０  外部メモリ。
【図１】
0003732867.tif 000002
【図２】
0003732867.tif 000003
【図３】
0003732867.tif 000004
【図４】
0003732867.tif 000005
【図５】
0003732867.tif 000006
【図６】
0003732867.tif 000007
【図７】
0003732867.tif 000008
【図８】
0003732867.tif 000009
【図９】
0003732867.tif 000010
【図１０】
0003732867.tif 000011
【図１１】
0003732867.tif 000012
【図１２】
0003732867.tif 000013
【図１３】
0003732867.tif 000014
【図１４】
0003732867.tif 000015
【図１５】
0003732867.tif 000016
【図１６】
0003732867.tif 000017
【図１７】
0003732867.tif 000018
【図１８】
0003732867.tif 000019
【図１９】
0003732867.tif 000020
【図２０】
0003732867.tif 000021
【図２１】
0003732867.tif 000022
【図２２】
0003732867.tif 000023
【図２３】
0003732867.tif 000024
【図２４】
0003732867.tif 000025
【図２５】
0003732867.tif 000026
【図２６】
0003732867.tif 000027
【図２７】
0003732867.tif 000028
【図２８】
0003732867.tif 000029
【図２９】
0003732867.tif 000030
【図３０】
0003732867.tif 000031
【図３１】
0003732867.tif 000032
【図３２】
0003732867.tif 000033
【図３３】
0003732867.tif 000034
【図３４】
0003732867.tif 000035
【図３５】
0003732867.tif 000036
【図３６】
0003732867.tif 000037
【図３７】
0003732867.tif 000038
【図３８】
0003732867.tif 000039
【図３９】
0003732867.tif 000040
【図４０】
0003732867.tif 000041