(57)【要約】【課題】本発明は、装置全体として構成を簡易化し得る画像復号化装置及び画像復号化方法を実現するものである。【解決手段】第１及び第２の符号化方式でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データを復号化処理する画像復号化装置及び画像復号化方法において、入力される第１又は第２の符号化画像データの種類を判別する第１のステップと、判別結果に応じて第１又は第２の符号化画像データに対して第１又は第２の復号化処理を施す第２のステップとを設け、第１の復号化処理に使用されるメモリ手段を、第２の復号化処理に使用するようにした。【選択図】        図１
2004349812.tif 000002
【特許請求の範囲】
【請求項１】
第１及び第２の符号化方式でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データを復号化処理する画像復号化装置において、
上記第１の符号化画像データに対して第１の復号化処理を施す第１の復号化手段と、
上記第２の符号化画像データに対して第２の復号化処理を施す第２の復号化手段と、
上記第１の復号化手段による上記第１の復号化処理に使用されるメモリ手段とを具え、上記メモリ手段は、上記第２の復号化手段による上記第２の復号化処理に使用される
ことを特徴とする画像復号化装置。
【請求項２】
入力される上記第１又は第２の符号化画像データの種類を判別する判別手段と、
上記第２の復号化手段による上記第２の復号化処理の結果に対して、所定の画像処理を施す画像処理手段と
を具え、上記判別手段の判別結果が上記第２の符号化画像データである場合、上記画像処理手段は、上記メモリ手段のメモリ領域のうち上記第２の復号化手段による上記第２の復号化処理に使用されない領域を、上記画像処理に使用する
ことを特徴とする請求項１に記載の画像復号化装置。
【請求項３】
第１及び第２の符号化方式でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データを復号化処理する画像復号化方法において、
入力される上記第１又は第２の符号化画像データの種類を判別する第１のステップと、
上記判別結果に応じて上記第１又は第２の符号化画像データに対して第１又は第２の復号化処理を施す第２のステップと
を具え、上記第１の復号化処理に使用されるメモリ手段を、上記第２の復号化処理に使用するようにした
ことを特徴とする画像復号化方法。
【請求項４】
上記第２の復号化処理の結果に対して所定の画像処理を施す第３のステップ
を具え、上記第２のステップでは、上記第１の復号化処理に使用されるメモリ手段のメモリ領域のうち上記第２の復号化処理に使用されない領域を、上記画像処理に使用する
ことを特徴とする請求項３に記載の画像復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像復号化装置及び画像復号化方法に関し、例えばＪＶＴ（Ｊｏｉｎｔ  Ｍｏｄｅｌ  ｏｆ  Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）符号化方式に準拠した画像復号化装置及び画像復号化方法に適用して好適なものである。
【０００２】
【従来の技術】
近年、画像情報をディジタル化して取り扱い、その際、効率の高い情報の伝達及び蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償とにより圧縮するＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐｅ  ）などの方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特にＭＰＥＧ２（ＩＳＯ／ＩＥＣ  １３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。
【０００４】
かかるＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素をもつ標準解像度の飛び越し走査画像であれば４〜８〔Ｍｂｐｓ〕、１９２０×１０８８画素をもつ高解像度の飛び越し走査画像であれば１８〜２２〔Ｍｂｐｓ〕の符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、すなわちより高い圧縮率の符号化方式には対応していなかった。
【０００６】
携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ  １４４９６−２としてその規格が国際標準に承認された。
【０００７】
さらに近年、当初テレビ会議用の画像符号化を目的として、Ｈ．２６Ｌ（ＩＴＵ−Ｔ  Ｑ６／１６  ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【０００８】
また現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、当該Ｈ．２６Ｌではサポートされていない機能をも取り入れ、より高い符号化効率を実現する標準化がＪＶＴ符号化方式として行われている。標準化のスケジュールとしては、２００３年３月にはＨ．２６４及びＭＰＥＧ−４  Ｐａｒｔ１０（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）という名の元に国際標準となる予定である。
【０００９】
ここでＪＶＴ符号化方式について説明する。入力される画像信号は、まずＡ／Ｄ変換されてディジタル化された後、出力となる画像圧縮情報のＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）構造に応じて、フレーム画像の並べ替えを行う。
【００１０】
イントラ符号化が行われる画像に関しては、入力画像と、イントラ予測により生成される画素値の差分情報が離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された後、その結果得られる変換係数に対して量子化処理が施される。
【００１１】
量子化された変換係数は、可変長符号化及び算術符号化等の可逆符号化が施された後、蓄積されて画像圧縮情報として出力される。かかる量子化処理は当該蓄積状態に応じてフィードバック的にレート制御される。
【００１２】
一方、量子化された変換係数は、逆量子化処理及び逆直交変換処理が施されて復号化画像情報となり、デブロックフィルタ処理によりブロック歪の除去が施された後、その情報がフレームメモリに蓄積されながら、イントラ予測処理に供される。
【００１３】
このイントラ予測処理において、ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化処理に供されて、画像圧縮情報におけるヘッダ情報の一部として符号化される。
【００１４】
またインタ符号化が行われる画像に関しては、まず画像情報は動き予測・補償処理されると同時に、参照となる画像情報がフレームメモリから読み出されて、動き予測・補償処理を施された後、参照画像情報が生成される。参照画像情報は当該画像情報との差分信号へ変換される。
【００１５】
動き補償・予測処理では、同時に動きベクトル情報を可逆符号化処理を施して、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化が施される画像圧縮情報と同様である。
【００１６】
図２に従来のＪＶＴ符号化方式に準拠した画像復号化装置（以下、これをＪＶＴ復号化装置と呼ぶ）１を示す。このＪＶＴ復号化装置１において、外部入力されるビットストリームでなる画像圧縮情報Ｓ１を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【００１７】
まず外部入力される画像圧縮情報Ｓ１は、蓄積バッファ２に格納された後、所定タイミングで読み出されて可逆復号化部３に送出される。可逆復号化部３では、予め定められた画像圧縮情報のフォーマット（以下、これをＪＶＴフォーマットと呼ぶ）に基づき、可変長復号化及び算術復号化等の処理が行われる。
【００１８】
その際、可逆復号化部３は、画像圧縮情報Ｓ１に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。可逆復号化部３は、イントラ符号化であると判断した場合には、画像圧縮情報Ｓ１のヘッダ部に書き込まれているイントラ予測モード情報をも復号化してイントラ予測部４に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報Ｓ１のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部５に送出する。
【００１９】
この可逆復号化部３の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部６において逆量子化された後、逆直交変換部７に送出される。この逆直交変換部７では、与えられた変換係数は、所定方式に基づく４次の逆直交変換が施された後、加算器８の一入力端に与えられる。
【００２０】
ここで可逆復号部３においてイントラ符号化であると判断された場合、加算器８の他入力端には、イントラ予測部４において生成された予測画像が入力される。この加算器８において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００２１】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ１０を介して画面並べ替えバッファ１１に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部１２においてアナログ変換される一方、当該フレームメモリ１０に一時的に格納された後、イントラ予測部４において上述した予測画像が生成される。
【００２２】
これに対して可逆復号部３においてインタ符号化であると判断された場合、加算器８の他入力端には、動き予測・補償部５において生成された参照画像が入力される。この加算器８において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００２３】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ１０を介して画面並べ替えバッファ１１に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部１２においてアナログ変換される一方、当該フレームメモリ１０に一時的に格納された後、動き予測・補償部５において、当該フレームメモリ１０に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００２４】
図３に従来のＭＰＥＧ１／２規格に準拠した画像復号化装置（以下、これをＭＰＥＧ１／２復号化装置と呼ぶ）を示す。このＭＰＥＧ１／２復号化装置２０では、外部入力されるビットストリームでなる画像圧縮情報を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【００２５】
まず外部入力される画像圧縮情報Ｓ２は、蓄積バッファ２１に格納された後、所定タイミングで読み出されて可逆復号化部２２に送出される。可逆復号化部２２では、予め定められた画像圧縮情報Ｓ２のフォーマット（以下、これをＭＰＥＧ１／２フォーマットと呼ぶ）に基づき、可変長復号化処理が行われる。その際、可逆復号化部２２は、画像圧縮情報Ｓ２のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部２３に送出する。
【００２６】
この可逆復号化部２２の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部２４において逆量子化された後、逆直交変換部２５に送出される。この逆直交変換部２５では、与えられた変換係数は、所定方式に基づく８次の逆直交変換が施された後、加算器２６の一入力端に与えられる。
【００２７】
加算器２６の他入力端には、動き予測・補償部２３において生成された参照画像が入力される。この加算器２６において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がフレームメモリ２７を介して画面並べ替えバッファ２８に一時的に保持される。
【００２８】
その後、画面並べ替えバッファ２８から元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えが行われて読み出された加算器２６の合成結果は、Ｄ／Ａ変換部２９においてアナログ変換される一方、当該フレームメモリ２７に一時的に格納された後、動き予測・補償部２３において、当該フレームメモリ２７に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００２９】
【発明が解決しようとする課題】
ところで、上述したＪＶＴ復号化装置１（図２）及びＭＰＥＧ１／２復号化装置２０（図３）においては、各機能ブロックにおける処理は異なるものの、基本的な回路構成は同一であるため、双方の機能を持った画像復号化装置を構築することが可能である。すなわちＭＰＥＧ１／２フォーマットの画像圧縮情報とＪＶＴフォーマットの画像圧縮情報との双方を復号化する機能を持つ画像復号化装置を構築することが可能である。
【００３０】
具体的にはＪＶＴ復号化装置１（図２）及びＭＰＥＧ１／２復号化装置２０（図３）においては、以下に述べる第１〜第５の違いを有する。
【００３１】
まず第１の違いは、ＪＶＴ復号化装置１においては、可逆復号化部３は所定方式に基づく可変長復号化及び算術復号化の処理を施すのに対して、ＭＰＥＧ１／２復号化装置２０においては、可逆復号化部２２は所定方式に基づく可逆復号化処理を施す点である。
【００３２】
第２の違いは、ＪＶＴ復号化装置１においては、逆直交変換部７は４次の逆離散コサイン変換処理を施すのに対し、ＭＰＥＧ１／２復号化装置２０においては、逆直交変換部２５は８次の逆離散コサイン変換処理を施す点である。
【００３３】
第３の違いは、復号画像をフレームメモリ２７に格納するに先立ち、ＪＶＴ復号化装置１においては、デブロックフィルタ９がブロック歪の除去を行うのに対し、ＭＰＥＧ１／２復号化装置２０においては、ブロック歪の除去を行わない点である。
【００３４】
第４の違いは、マクロブロックがイントラマクロブロックである場合、ＪＶＴ復号化装置１においては、イントラ予測部４は画面内符号化により予測画像の生成を行うのに対し、ＭＰＥＧ１／２復号化装置２０においては、画面内符号化による予測画像の生成を行わない点である。
【００３５】
第５の違いは、ＪＶＴ復号化装置１においては、動き予測・補償部５はマルチプルリファレンスフレーム（Ｍｕｌｔｉｐｌｅ  Ｒｅｆｅｒｅｎｃｅ  Ｆｒａｍｅ）及び可変ブロックサイズ動き補償に対応した１／４画素精度の動き補償処理を施すのに対し、ＭＰＥＧ１／２復号化装置２０においては、動き予測・補償部２３は線形内挿に基づく１／２画素精度の動き補償処理を施す点である。
【００３６】
実際にＪＶＴ符号化方式では、動き量の大きな飛越し走査（インタレース）フォーマットの画像に対してはフレーム構造の符号化処理よりもフィールド構造の符号化処理のほうが効率良く符号化できる場合があることを考慮して、符号化対象の画像が飛越し走査フォーマットである場合には、これらフレーム構造の符号化とフィールド構造の符号化とをピクチャ単位で適応的に切り替えることが認められている。
【００３７】
さらにＪＶＴ符号化方式では、符号化対象の画像が飛越し走査フォーマットである場合において符号化単位としてフィールド構造を適用したときには、Ｉピクチャの第１フィールドをフィールド内で完結するように符号化（以下、これをフィールド内符号化と呼ぶ）（Ｉフィールド）し、第２フィールドを時間的に前方向のフィールド画像を参照して符号化（Ｐフィールド）することも認められている。
【００３８】
従って、このように第１及び第２フィールドがそれぞれＩフィールド又はＰフィールドとして符号化されたＩピクチャを復号化するに際しては、第２フィールド（Ｐフィールド）の復号化処理のために予め対応する参照画像を復号化する必要がある。
【００３９】
この場合において、ＪＶＴ符号化方式では、図４に示すように、符号化時における動き補償処理時の参照画像として対象フレーム画像の前後の２以上のフレーム画像を用いることができるマルチプルリファレンスフレーム（Ｍｕｌｔｉｐｌｅ  Ｒｅｆｅｒｅｎｃｅ  Ｆｒａｍｅ）機能がサポートされている。
【００４０】
このため、図５に示すように、第２フィールドがＰフィールドであるＩピクチャを復号化するに際して、当該Ｐフィールドが当該Ｉピクチャ以外の他のＰピクチャやＢピクチャのフィールド画像を参照画像としている場合には、当該ＰピクチャやＢピクチャの復号化処理をも必要となる。
【００４１】
このようにＪＶＴ符号化方式では、符号化対象の画像が飛越し走査フォーマットである場合、直前のＩピクチャだけでなく、過去に遡って複数のＰピクチャやＢピクチャを参照することが可能であるため、上述したＪＶＴ復号化装置１（図２）内のフレームメモリの動作容量を従来よりも多く必要とする。
【００４２】
さらに近年、ネットワークの限られたバンド幅又はネットワークの記憶メディアの容量を効率的に利用するため、上述のような飛び越し走査フォーマットが広く用いられているが、飛び越し走査フォーマットの画像は、画面にちらつきを有することが知られている。このため図６に示すように、飛び越し走査フォーマットの画像を、順次走査（ノンインタレース）フォーマットに変換して、ちらつきを抑えた高画質な画像として出力する技術が現在広く用いられている。
【００４３】
例えば、図６における周辺の画素値Ａ、Ｂ、Ｃ、Ｄを用いて、補間画素値Ｘを生成する方法を説明する。まず空間方向相関をＣｏｒｒＶ、時間方向相関をＣｏｒｒＴとして、画素値Ｘに関する相関を、次式
【００４４】
【数１】
2004349812.tif 000003
【００４５】
【数２】
2004349812.tif 000004
【００４６】
により算出する。その際、次式
【００４７】
【数３】
2004349812.tif 000005
【００４８】
が成立するとき、画素値Ｘの周辺では、空間方向の相関が高いと判定し、成立しない場合には、時間方向の相関が高いと判定する。前者の場合、次式
【００４９】
【数４】
2004349812.tif 000006
【００５０】
とし、後者の場合、次式
【００５１】
【数５】
2004349812.tif 000007
【００５２】
として、補間画素値Ｘを生成する。
【００５３】
図６においては、原画素の画素値、及び補間により生成された画素値を格納するため、原画像のみを格納する場合の２倍のメモリ容量を必要とする。
【００５４】
また、欧州においては、ＰＡＬ（Ｐｈａｓｅ  Ａｌｔｅｒｎａｔｉｏｎ  ｂｙ  Ｌｉｎｅ）フォーマット（７２０×５７６×２５〔Ｈｚ〕、飛び越し走査）がテレビジョン信号処理に採用されているが、２５〔Ｈｚ〕では、画像によっては動きが不自然に見えるため、図７に示すような、倍速変換処理を行い、５０〔Ｈｚ〕にすることによって動画像における円滑な動きを表現する技術が用いられている。
【００５５】
図７においても、原画像の画素値、及び、補間により生成された画素値を格納するため、原画像のみを格納する場合の２倍のメモリ容量を必要とする。
【００５６】
従ってＪＶＴ符号化方式において上述したようなマルチプルリファレンスフレーム機能の処理を行う場合や、飛越し走査フォーマットから順次走査フォーマットへの変換処理を行う場合には、装置内部のフレームメモリの動作容量をより一層多く必要とすることから、その分の動作容量をＭＰＥＧ１／２復号化装置において復号化処理に用いられないメモリ容量を利用することができれば望ましい。
【００５７】
本発明は以上の点を考慮してなされたもので、装置全体として構成を簡易化し得る画像復号化装置及び画像復号化方法を提案しようとするものである。
【００５８】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、第１及び第２の符号化方式でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データを復号化処理する画像復号化装置において、第１の符号化画像データに対して第１の復号化処理を施す第１の復号化手段と、第２の符号化画像データに対して第２の復号化処理を施す第２の復号化手段と、第１の復号化手段による第１の復号化処理に使用されるメモリ手段とを設け、メモリ手段は、第２の復号化手段による第２の復号化処理に使用されるようにした。
【００５９】
この結果この画像復号化装置では、第１の復号化処理を施す第１の復号化手段と第２の復号化処理を施す第２の復号化手段とにおいてメモリ手段を共用することができ、装置全体として構成を簡易にすることができる。
【００６０】
また本発明においては、入力される第１又は第２の符号化画像データの種類を判別する判別手段と、第２の復号化手段による第２の復号化処理の結果に対して、所定の画像処理を行う画像処理手段とを設け、制御手段は、判別手段の判別結果が第２の符号化画像データである場合、メモリ手段のメモリ領域のうち第２の復号化手段による第２の復号化処理に使用されない領域を、画像処理手段による画像処理に使用させるようにした。
【００６１】
この結果この画像復号化装置では、第２の復号化手段による第２の復号化処理を行う際に、第１の復号化処理に使用されるメモリ手段のメモリ領域のうち第２の復号化処理に使用されない領域を画像処理に使用するようにした分、新たにメモリ手段を設ける必要がなくて済む。
【００６２】
さらに本発明においては、第１及び第２の符号化方式でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データを復号化処理する画像復号化方法において、入力される第１又は第２の符号化画像データの種類を判別する第１のステップと、判別結果に応じて第１又は第２の符号化画像データに対して第１又は第２の復号化処理を施す第２のステップとを設け、第１の復号化処理に使用されるメモリ手段を、第２の復号化処理に使用するようにした。
【００６３】
この結果この画像復号化方法では、第１の復号化処理と第２の復号化処理とにおいてメモリ手段を共用することができ、装置全体として構成を簡易にすることができる。
【００６４】
さらに本発明においては、第２の復号化処理の結果に対して所定の画像処理を行う第３のステップを設け、第２のステップでは、第１の復号化処理に使用されるメモリ手段のメモリ領域のうち第２の復号化処理に使用されない領域を、画像処理に使用するようにした。
【００６５】
この結果この画像復号化方法では、第２の復号化処理を行う際に、第１の復号化処理に使用されるメモリ手段のメモリ領域のうち第２の復号化処理に使用されない領域を画像処理に使用するようにした分、新たにメモリ手段を設ける必要がなくて済む。
【００６６】
【発明の実施の形態】
以下図面について、本願発明の一実施の形態について説明する。
【００６７】
（１）本実施の形態による画像復号化装置の構成
図２及び図３との対応部分に同一符号を付して示す図１において、３０は本実施の形態におけるＪＶＴ符号化方式及びＭＰＥＧ１／２の双方に準拠した画像復号化装置を示し、外部入力されるビットストリームでなる画像圧縮情報Ｓ１０（Ｓ１又はＳ２）を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【００６８】
画像復号化装置３０では、ＪＶＴ符号化方式に準拠した画像復号化部（以下、これをＪＶＴ復号化部と呼ぶ）３１と、ＭＰＥＧ１／２規格に準拠した画像復号化部（以下、これをＭＰＥＧ１／２復号化部と呼ぶ）３２とを有し、双方の前段に設けられた蓄積バッファ３３と、双方の後段に設けられたフレームメモリ３４、画面並べ替えバッファ３５及びＤ／Ａ変換部３６を共有するようになされている。
【００６９】
この画面復号化装置３０では、外部入力される画像圧縮情報Ｓ１０は、圧縮情報判別部３７を介してＪＶＴフォーマット又はＭＰＥＧ１／２フォーマットのいずれの圧縮方式に基づくものであるかの判別が行われた後、蓄積バッファ３３に格納される。この圧縮情報判別部３７は、後段の蓄積バッファ３３から画像圧縮情報Ｓ１０を読み出した後、当該画像圧縮情報Ｓ１０から画像フォーマットに関する情報を抽出することにより、上述のような判別を行う。
【００７０】
例えば画像圧縮情報Ｓ１０がＭＰＥＧ２システムに基づいた画像圧縮情報により多重化されて伝送される場合には、システムレイヤに含まれるストリームＩＤを参照することにより判別することが可能である。
【００７１】
この圧縮情報判別部３７による判別結果により、蓄積バッファ３３に蓄積された画像圧縮情報Ｓ１０が、ＪＶＴフォーマットに基づくものと判別された場合には、所定タイミングで読み出されてＪＶＴ復号化部３１に送出される一方、ＭＰＥＧ１／２フォーマットに基づくものと判別された場合には、所定タイミングで読み出されてＭＰＥＧ１／２復号化部３２に送出される。
【００７２】
まずＪＶＴ復号化部３１において、可逆復号化部３では、ＪＶＴフォーマットに基づき、可変長復号化及び算術復号化等の処理が行われる。その際、可逆復号化部３は、画像圧縮情報Ｓ１０に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。
【００７３】
可逆復号化部３は、イントラ符号化であると判断した場合には、画像圧縮情報Ｓ１０のヘッダ部に書き込まれているイントラ予測モード情報をも復号化してイントラ予測部４に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報Ｓ１０のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部５に送出する。
【００７４】
この可逆復号化部３の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部６において逆量子化された後、逆直交変換部７に送出される。この逆直交変換部７では、与えられた変換係数は、所定方式に基づく４次の逆直交変換が施された後、加算器８の一入力端に与えられる。
【００７５】
ここで可逆復号部３においてイントラ符号化であると判断された場合、加算器８の他入力端には、イントラ予測部４において生成された予測画像が入力される。この加算器８において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００７６】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ３４を介して画面並べ替えバッファ３５に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部３６においてアナログ変換される一方、当該フレームメモリ３４に一時的に格納された後、イントラ予測部４において上述した予測画像が生成される。
【００７７】
これに対して可逆復号部３においてインタ符号化であると判断された場合、加算器８の他入力端には、動き予測・補償部５において生成された参照画像が入力される。この加算器８において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００７８】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ３４を介して画面並べ替えバッファ３５に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部３６においてアナログ変換される一方、当該フレームメモリ３４に一時的に格納された後、動き予測・補償部５において、当該フレームメモリ３４に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００７９】
一方、ＭＰＥＧ１／２復号化部３２において、可逆復号化部２２では、ＭＰＥＧ１／２フォーマットに基づき、可変長復号化処理が行われる。その際、可逆復号化部２２は、画像圧縮情報Ｓ１０のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部２３に送出する。
【００８０】
この可逆復号化部２２の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部２４において逆量子化された後、逆直交変換部２５に送出される。この逆直交変換部２５では、与えられた変換係数は、所定方式に基づく８次の逆直交変換が施された後、加算器２６の一入力端に与えられる。
【００８１】
加算器２６の他入力端には、動き予測・補償部２３において生成された参照画像が入力される。この加算器２６において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がフレームメモリ３４を介して画面並べ替えバッファ３５に一時的に保持される。
【００８２】
その後、画面並べ替えバッファ３５から元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えが行われて読み出された加算器２６の合成結果は、Ｄ／Ａ変換部３６においてアナログ変換される一方、当該フレームメモリ３４に一時的に格納された後、動き予測・補償部２３において、当該フレームメモリ３４に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００８３】
かかる構成に加えて画像復号化装置３０においては、フレームメモリ３４に接続するように画像情報変換部３８が設けられ、圧縮情報判別部３７の判別結果でなる制御信号Ｓ１１が供給されるようになされている。
【００８４】
本実施の形態の場合、ＪＶＴ復号化部３１及びＭＰＥＧ１／２復号化部３２の双方でフレームメモリ３４を共有しているが、ＪＶＴ復号化部３１ではマルチプルリファレンスフレーム機能が規定されているため、フレームメモリ３４のうち、ＪＶＴ符号化によるマルチプルリファレンスフレーム機能に対応した動き補償には用いる領域であってＭＰＥＧ１／２復号化部３２によっては用いられない領域（以下、これをＪＶＴ機能領域と呼ぶ）が存在する。
【００８５】
このためＭＰＥＧ１／２フォーマットに基づく画像圧縮情報の復号化処理を行う際には、フレームメモリ３４内のかかるＪＶＴ機能領域を、以下に述べるように、出力画像の高画質化を図るべく有効利用する。
【００８６】
まず圧縮情報判別部３７は、入力される画像圧縮情報Ｓ１０がＭＰＥＧ１／２フォーマットに基づくと判別した場合、画像情報変換部３８に制御信号Ｓ１１を送出する。画像情報変換部３８は、フレームメモリ３４からＭＰＥＧ１／２フォーマットに基づく画像圧縮情報を抽出した後、飛び越し走査フォーマットから順次走査フォーマットへの変換を実行することによりちらつきを抑えた高画質化処理を行う。
【００８７】
この結果、画像情報変換部３８は、補間により生成した画像を、フレームメモリ３４におけるＪＶＴ機能領域に格納する。このようにフレームメモリ３４のＪＶＴ機能領域を高画質化処理に利用することにより、ＭＰＥＧ１／２フォーマット及びＪＶＴフォーマットの双方に基づく画像圧縮情報の復号化処理を行う際に、当該双方で効率良く共有させることができる。
【００８８】
（２）本実施の形態による動作及び効果
以上の構成において、この画像復号化装置３０では、ＪＶＴ符号化方式に準拠した復号化処理を行うＪＶＴ復号化部３１と、ＭＰＥＧ１／２規格に準拠した復号化処理を行うＭＰＥＧ１／２復号化部３２とを設け、入力される画像圧縮情報Ｓ１０の種類に応じて双方の復号化処理を行うことができる。
【００８９】
またこの画像復号化装置３０では、ＪＶＴ復号化部３１及びＭＰＥＧ１／２復号化部３２において、蓄積バッファ３３、フレームメモリ３４、画面並べ替えバッファ３５及びＤ／Ａ変換部３６を共有して使用することにより、装置全体として構成を簡易にすることができる。
【００９０】
その際、フレームメモリ３４は、ＪＶＴ復号化部３１で実行するマルチプルリファレンスフレーム機能に十分に使用可能なメモリ容量に設定されているため、ＪＶＴ符号化によるマルチプルリファレンスフレーム機能に対応した動き補償には用いる領域であってＭＰＥＧ１／２復号化部３２によっては用いられないＪＶＴ機能領域が存在する。
【００９１】
このためＭＰＥＧ１／２復号化部３２における復号化処理を行う場合であって、かつ、画像情報変換部３８によって飛び越し走査フォーマットから順次走査フォーマットへの変換処理を実行する際には、当該画像情報変換部３８において補間により生成した画像をフレームメモリ３４内のＪＶＴ機能領域に格納することにより、当該フレームメモリ３４を有効に利用することができ、この結果、新たにＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリを設ける必要がなくて済む。
【００９２】
以上の構成によれば、画像復号化装置３０において、ＪＶＴ復号化部３１及びＭＰＥＧ１／２復号化部３２を併合させる場合に、双方の復号化処理に必要な蓄積バッファ３３、フレームメモリ３４及び画面並べ替えバッファ３５等の機能ブロックを共用させるようにしたことにより、装置全体の構成を簡易にすることができると共に、フレームメモリ３４のうちＪＶＴ符号化によるマルチプルリファレンスフレーム機能に対応した動き補償に用いるＪＶＴ機能領域を、ＭＰＥＧ１／２復号化部３２における復号化処理の際にさらに飛び越し走査フォーマットから順次走査フォーマットへの変換処理にも使用することができ、かくして構成を簡易にし得る画像復号化装置３０を実現できる。
【００９３】
（３）他の実施の形態
なお上述のように本実施の形態においては、ＪＶＴ符号化方式（第１の符号化方式）及びＭＰＥＧ１／２方式（第２の符号化方式）でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データＳ１０を復号化処理する画像復号化装置として、図１に示すようなＪＶＴ復号化部（第１の復号化手段）３１及びＭＰＥＧ１／２復号化部（第２の復号化手段）３２を有する構成の画像復号化装置３０を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを広く適用するようにしても良い。
【００９４】
また本実施の形態においては、ＪＶＴ復号化部（第１の復号化手段）３１とＭＰＥＧ１／２復号化部（第２の復号化手段）３２とでフレームメモリ（メモリ手段）３４を共用するようにした場合について述べたが、本発明はこれに限らず、メモリ手段としては、本実施の形態のように蓄積バッファ３３及び画面並べ替えバッファ３５を含めるようにしても良く、さらにはこれ以外にもメモリ手段の後段に接続されたＤ／Ａ変換部３６等の各種の機能ブロックを共用するようにしても良い。
【００９５】
さらに本実施の形態においては、入力される第１又は第２の符号化画像データＳ１０（Ｓ１又はＳ２）の種類を判別する判別手段として、図１の画像復号化装置３０における圧縮情報判別部３７を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成からなる判別手段を広く適用するようにしても良い。
【００９６】
さらに本実施の形態においては、ＭＰＥＧ１／２復号化部（第２の復号化手段）３２による第２の復号化処理の結果に対して、所定の画像処理を施す画像処理手段として、飛び越し走査フォーマットから順次走査フォーマットへの変換処理を施す画像情報変換部３８（図１）を適用するようにした場合について述べたが、本発明はこれに限らず、この他の画像処理としてフレームレート変換等の画像の変換や、画像の特徴の抽出、画像の認識など、この他種々の画像処理に広く適用することができる。この場合も、フレームメモリ（メモリ手段）のメモリ領域のうちＭＰＥＧ１／２復号化部（第２の復号化手段）３２による第２の復号化処理に使用されないＪＶＴ機能領域を使用させるようにすれば良い。
【００９７】
【発明の効果】
上述のように本発明によれば、第１及び第２の符号化方式でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データを復号化処理する画像復号化装置において、第１の符号化画像データに対して第１の復号化処理を施す第１の復号化手段と、第２の符号化画像データに対して第２の復号化処理を施す第２の復号化手段と、第１の復号化手段による第１の復号化処理に使用されるメモリ手段とを設け、メモリ手段は、第２の復号化手段による第２の復号化処理に使用されるようにしたことにより、第１の復号化手段と第２の復号化手段とにおいてメモリ手段を共用することができ、かくして装置全体として構成を簡易にし得る画像復号化装置を実現できる。
【００９８】
また本発明によれば、第１及び第２の符号化方式でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データを復号化処理する画像復号化方法において、入力される第１又は第２の符号化画像データの種類を判別する第１のステップと、判別結果に応じて第１又は第２の符号化画像データに対して第１又は第２の復号化処理を施す第２のステップとを設け、第１の復号化処理に使用されるメモリ手段を、第２の復号化処理に使用するようにしたことにより、第１の復号化処理と第２の復号化処理とにおいてメモリ手段を共用することができ、かくして装置全体として構成を簡易にすることができる。
【図面の簡単な説明】
【図１】本実施の形態による画像復号化装置の構成を示すブロック図である。
【図２】従来のＪＶＴ復号化装置の構成を示すブロック図である。
【図３】従来のＭＰＥＧ１／２復号化装置の構成を示すブロック図である。
【図４】マルチプルリファレンスフレーム機能の説明に供する略線図である。
【図５】マルチプルリファレンスフレーム機能における参照画像の説明に供する略線的な平面図である。
【図６】飛び越し走査フォーマットから順次走査フォーマットへの変換処理の説明に供する略線的な平面図である。
【図７】倍速変換処理の説明に供する略線的な平面図である。
【符号の説明】
３０……画像復号化装置、３１……ＪＶＴ復号化部、３２……ＭＰＥＧ１／２復号化部、３３……蓄積バッファ、３４……フレームメモリ、３５……画面並べ替えバッファ、３６……Ｄ／Ａ変換部、３７……圧縮情報判別部、３８……画像情報変換部。
【図１】
2004349812.tif 000008
【図２】
2004349812.tif 000009
【図３】
2004349812.tif 000010
【図４】
2004349812.tif 000011
【図５】
2004349812.tif 000012
【図６】
2004349812.tif 000013
【図７】
2004349812.tif 000014