(57)【要約】【課題】  従来は、映像復号化装置のポスト処理、および映像信号符号化装置のプリ処理といった２つのフィルタ処理等を通ることにより、これらの処理による映像信号の画質劣化が懸念される。【解決手段】  デコーダ１１はビットストリームを復号化すると共に、復号化時に得られる動きベクトル、予測モード、ＡＣ値等の復号化情報を生成する。ポスト処理部１２は、デコーダ１１から供給された復号化情報と、エンコーダ１４からの再符号化の設定レート、再符号化時の平均量子化スケール等の符号化情報とを基に、デコーダ１１からの復号化映像信号に対してフィルタリング等の処理を行い、更に入力された復号化映像信号とフィルタリング処理された映像信号から画像情報を出力する。従って、映像信号符号化装置１３のプリ処理をポスト処理に集約することができ、余分なフィルタ処理を不要にできる。【選択図】            図１
2005101914.tif 000002
【特許請求の範囲】
【請求項１】
供給される符号化映像信号を含むビットストリームを復号化して得た復号化映像信号を、再符号化のために映像信号符号化装置へ出力する映像信号復号化装置において、
前記符号化映像信号を含むビットストリームを復号化して前記復号化映像信号を出力すると共に、該復号化時に得られる動きベクトル、予測モード及びＡＣ値を含む復号化情報を生成するデコーダと、
前記映像信号符号化装置から供給される、該映像信号符号化装置での再符号化時の設定レート及び再符号化時の平均量子化スケールを含む符号化情報と、前記デコーダから供給される前記復号化情報とに基づき、検出した画像の輪郭領域以外にフィルタ処理を行うフィルタ処理パラメータを生成して出力するパラメータ生成手段と、
前記デコーダにより復号化して得られた前記復号化映像信号に対して、前記パラメータ生成手段から出力される前記フィルタ処理パラメータに基づくフィルタ処理を行い、再符号化条件に適応したポスト処理が行われた復号化映像信号を出力する適応型フィルタ処理手段と
を有することを特徴とする映像信号復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像信号復号化装置に係り、特にＭＰＥＧ（Moving Picture Experts Group）等の高能率圧縮符号化方式を用いた映像信号復号化装置に関する。
【背景技術】
【０００２】
従来より、ＭＰＥＧ等の符号化方式を採用した映像信号符号化装置及び映像信号復号化装置が検討されている。なお、ＭＰＥＧについては、国際標準化機構／国際電気標準会議（ISO/IEC:International Organization for Standardization/International Electrotechnical Commission）の標準規格ＩＳＯ−ＩＥＣ１１７２−２や、国際電気通信連合-電気通信標準化部門（ITU-T:International Telecommunication Union-Telecommunication Standardization Sector）の標準規格ＩＴＵ−Ｔ  Ｈ．２６２／ＩＳＯ−ＩＥＣ１３８１８−２に詳細な説明がなされているので、ここでは説明は省略する。
【０００３】
このＭＰＥＧ方式で符号化された映像ストリームのレートを変換するために、この映像ストリームを符号化して出力された映像ビットストリームを再度復号化することがある（例えば、特許文献１参照）。図５はレート変換を実現するための変換システムの一例のブロック図を示す。同図に示すように、ＭＰＥＧ方式で符号化された映像ビットストリームは、レート変換のために、まず、映像信号復号化装置１内のデコーダ２により復号化された後、ポスト処理部３で復号化映像信号をもとにポスト処理が行われて映像信号符号化装置４に供給される。
【０００４】
映像信号符号化装置４は、入力された復号化映像信号に対してプリ処理部５により所定のプリ処理を施した後、エンコーダ６により新たに再符号化条件に従ってＭＰＥＧ方式の符号化を行い、レート変換された映像ビットストリームを出力する。
【０００５】
【特許文献１】特開２００１−１６０９６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の映像信号復号化装置を用いたレート変換システムでは、映像信号復号化装置１のポスト処理において、再符号化における設定が殆ど考慮されていない。また、映像信号符号化装置４のプリ処理においても、同様に復号化側のストリーム情報等が考慮されていない。従って、これら映像復号化装置１のポスト処理、および映像信号符号化装置４のプリ処理といった２つのフィルタ処理等を通ることにより、これらの処理による映像信号の画質劣化が懸念される。
【０００７】
本発明は上記の点に鑑みなされたもので、レート変換後の映像信号の高画質化を実現し得るような映像ストリームの復号化を行い得る映像信号復号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記の目的を達成するため、供給される符号化映像信号を含むビットストリームを復号化して得た復号化映像信号を、再符号化のために映像信号符号化装置へ出力する映像信号復号化装置において、符号化映像信号を含むビットストリームを復号化して復号化映像信号を出力すると共に、復号化時に得られる動きベクトル、予測モード及びＡＣ値を含む復号化情報を生成するデコーダと、映像信号符号化装置から供給される、映像信号符号化装置での再符号化時の設定レート及び再符号化時の平均量子化スケールを含む符号化情報と、デコーダから供給される復号化情報とに基づき、検出した画像の輪郭領域以外にフィルタ処理を行うフィルタ処理パラメータを生成して出力するパラメータ生成手段と、デコーダにより復号化して得られた復号化映像信号に対して、パラメータ生成手段から出力されるフィルタ処理パラメータに基づくフィルタ処理を行い、再符号化条件に適応したポスト処理が行われた復号化映像信号を出力する適応型フィルタ処理手段とを有する構成したものである。
【０００９】
この発明では、映像信号符号化装置での再符号化時の設定レート及び再符号化時の平均量子化スケールを含む符号化情報と、デコーダから供給される復号化情報とに基づき、検出した画像の輪郭領域以外にフィルタ処理を行うフィルタ処理パラメータを生成し、そのフィルタ処理パラメータに基づき復号化映像信号に対して適応型フィルタ処理を行うようにしたため、映像信号符号化装置におけるプリ処理を映像信号復号化装置の適応型フィルタ処理によりポスト処理と共に行うことができる。
【発明の効果】
【００１０】
本発明によれば、映像信号符号化装置から再符号化の設定レート、再符号化時の平均量子化スケール等の符号化情報を映像信号復号化装置に送り、映像信号符号化装置のプリ処理をこの符号化情報を用いて映像信号復号化装置のポスト処理で行うようにしたため、映像信号符号化装置のプリ処理をポスト処理に集約することができ、これにより余分なフィルタ処理を行わないで済むため、再符号時の高画質化が実現できると共に、映像信号符号化装置のハード構成の簡略化ができる。
【００１１】
また、本発明によれば、ポスト処理においてもデコーダからの復号化情報を用いて処理を行うようにしたため、より効率的なフィルタ処理ができ、ポスト処理への負荷を低減することができる。
【発明を実施するための最良の形態】
【００１２】
次に、本発明の実施のための最良の形態について図面と共に説明する。図１は本発明になる映像信号復号化装置の一実施の形態を含むレート変換装置のブロック図を示す。同図において、映像信号復号化装置１０は、本発明になる映像信号復号化装置の一実施の形態であり、デコーダ１１及びポスト処理部１２から構成されている。この映像信号復号化装置１０には、映像信号符号化装置１３が接続されている。映像信号符号化装置１３は、エンコーダ１４から構成されている。
【００１３】
次に、図１のレート変換装置の動作について簡単に説明する。ＭＰＥＧ方式で符号化された映像信号のビットストリームは、映像信号復号化装置１０のデコーダ１１に入力され、ここで復号化処理されて復号化された映像信号がポスト処理部１２に供給される。また、これと同時に、デコーダ１１は復号化時に得られる動きベクトル、予測モード、ＡＣ値等の復号化情報を生成して、ポスト処理部１２に供給する。ポスト処理部１２は、デコーダ１１から供給された復号化情報と、後述する再符号化に用いられる映像信号符号化装置１３内のエンコーダ１４からの符号化情報とを基に、デコーダ１１から入力された復号化映像信号に対してフィルタリング等の処理を行い、更に入力された復号化映像信号とフィルタリング処理された映像信号から画像情報を出力する。
【００１４】
映像信号符号化装置１３のエンコーダ１４は、映像信号復号化装置１０から出力された映像信号（画像情報）を入力信号として受け、この入力信号に対してＭＰＥＧ符号化を行い映像ビットストリームを出力する。また、これと同時に、エンコーダ１４は再符号化時の設定レート、符号化時の平均量子化スケール等のパラメータからなる符号化情報を出力してポスト処理部１２へ供給する。
【００１５】
次に、本実施の形態の映像信号復号化装置１０の構成及び動作について、図２及び図３と共に更に詳細に説明する。図２は映像信号復号化装置１０内のデコーダ１１の一実施の形態のブロック図を示す。同図において、ＭＰＥＧ方式で符号化された映像ビットストリームは、可変長符号復号器（ＶＬＤ）１１１に入力される、ＶＬＤ１１１は入力された映像ビットストリームの可変長符号をブロック毎に復号し、動きベクトル情報と、量子化された画像データを逆量子化回路１１２に出力すると共に、動きベクトル情報を動き補償予測回路１１３へ出力する。
【００１６】
逆量子化回路１１２は量子化された画像データを逆量子化することにより、離散コサイン変換（ＤＣＴ）された画像データ（ＤＣＴ係数）を得て、これを逆ＤＣＴ回路１１５に出力する。逆ＤＣＴ回路１１５は、入力されたＤＣＴ係数に対して逆ＤＣＴ処理を行うことにより差分画像データを得て、これを加算器１１６に出力する。加算器１１６は、この差分画像データと、動き補償予測回路１１３から出力される画像データとを加算することにより復号化された画像データを出力すると共に、この画像データを画像メモリ１１７に蓄える。動き補償予測回路１１３は、画像メモリ１１７に蓄えられた復号化信号（画像データ）とＶＬＤ１１１からの動きベクトル情報とから動き補償を行い、画像データを生成して加算器１１６へ出力する。
【００１７】
一方、復号化情報生成回路１１４は、ＶＬＤ１１１からの動きベクトル情報と、逆量子化回路１１２からのＤＣＴ係数とを入力として受け、動きベクトル情報から動きベクトル及び予測モードを生成し、ＤＣＴ係数からは高域成分、低域成分を段階的に正規化したＡＣ値を生成し、これらを復号化情報として構築して図１のポスト処理部１２へ出力する。
【００１８】
次に、映像信号復号化装置１０内のポスト処理部１２について説明する。図３は映像信号復号化装置１０内のポスト処理部１２の一実施の形態のブロック図を示す。同図において、フィルタ処理パラメータ生成回路１２１は、デコーダ１１から出力された復号化情報と、映像信号符号化装置１３から出力された符号化情報を入力として受け、フィルタ処理パラメータを生成して出力する。また、デコーダ１１で復号化された画像データ（映像信号）は、図３の適応型フィルタ処理回路１２２に入力され、ここでフィルタ処理パラメータ生成回路１２１からのフィルタ処理パラメータによりフィルタ処理を行い、映像信号とされて出力される。
【００１９】
ここで、ポスト処理部１２について更に詳細に説明する。フィルタ処理パラメータ生成回路１２１は、入力される復号化情報から、動きベクトル情報及びＤＣＴ係数からの復号化データからブロック（８×８画素）単位に求められたＡＣ値と、マクロブロック（１６×１６画素）単位の動きベクトルと、予測モードとを検出する。フィルタ処理パラメータ生成回路１２１は、これらの各情報からなる復号化情報を複数画像分保持している。また、映像信号符号化装置１３から入力される符号化情報は、再符号化時の設定ルート及び再符号化時の平均量子化スケールからなる。
【００２０】
また、フィルタ処理パラメータ生成回路１２１は、画像の輪郭検出機能を有する。輪郭検出方法としては、復号化された画像データからピクセル単位のアクティビティ情報を算出し、この情報から輪郭を検出する方法が考えられるが処理が膨大となる。そこで、本実施の形態では、入力された動きベクトル、ＡＣ値から輪郭の存在する領域を検出し、輪郭が存在する領域を残し、それ以外にフィルタ処理を行うような適応型フィルタ処理に対するパラメータを生成する。
【００２１】
フィルタ処理パラメータ生成回路１２１は、符号化情報の設定レート、平均量子化スケールからこの適応フィルタ処理に対するパラメータを生成する。すなわち、フィルタ処理パラメータ生成回路１２１は、設定レートが低く、平均量子化スケールが大きい時にはより全体的に上記適応フィルタ処理を強くかけるようなフィルタ処理パラメータを生成するように制御する。
【００２２】
これにより、このフィルタ処理パラメータに基づき、適応フィルタ処理回路１２２で適応フィルタ処理された映像信号は、特に低レート再符号化時は、輪郭が相対的に強調され、その他のノイズ（高域成分）を落とすことになり、符号化時の動きベクトル検出の精度向上、高域成分低減により符号化効率が向上、すなわち画質を向上させることができる。ここで、上記の低レート再符号化は、映像信号復号化装置１０の入力ビットストリームのレートに比べて、再符号化するビットストリームのレートが低いことが前提であり、更に、長時間記録等を目的とするより低い再符号化レートでの符号化を意味する。
【００２３】
次に、図１に示した映像信号符号化装置１３を構成するエンコーダ１４の構成及び動作について、図４に示すエンコーダの一例のブロック図と共に説明する。図４において、映像信号復号化装置１０から入力された映像信号（画像データ）は、画像メモリ１４１に入力されて記憶される。画像メモリ１４１には複数フレームの映像信号（画像データ）が記憶される。記憶された映像信号（画像データ）は輝度データが１６×１６画素、色データ（Ｃｂ／Ｃｒ）はそれぞれ１６×８画素単位のブロックで処理され、色データに関しては縦方向にサブサンプリングし、それぞれ８×８画素のブロックとして処理される。
【００２４】
動き補償予測回路１４２は、画像メモリ１４１から読み出された画像データと、画像メモリ１５１から読み出されたフレーム（フィールド）のローカルデコードされた再生画像データより、フレーム間（フィールド間）予測の動きベクトルを検出し、更に、この動きベクトルと画像メモリ１５１より読み出された再生画像データとから、動き補償を行い動き補償画像データと動きベクトル、予測モードを出力する。
【００２５】
減算器１４３は画像メモリ１４１から読み出された画像データと、動き補償予測回路１４２から出力された動き補償画像データとを入力として受けてこれらのデータの減算を行い、差分画像データを出力する。ＤＣＴ回路１４４はこの差分画像データを入力として受け、ＤＣＴ（離散コサイン変換）を行いＤＣＴ係数を出力する。量子化回路１４５はＤＣＴ係数を入力として受け、量子化を行い量子化画像データを出力すると同時に、量子化スケール情報を出力する。
【００２６】
符号化情報生成回路１４６は上記の量子化スケール情報を入力として受け、平均の量子化スケールを算出し、設定レートと共に符号化情報を構築して図１に示したポスト処理部１２へ出力する。可変長符号化（ＶＬＣ）回路１４７は、量子化回路１４５からの量子化データ及び動き補償予測回路１４２からの動きベクトル及び予測モードとを入力して受け、これらを可変長符号化しビットストリームを出力する。
【００２７】
また、量子化回路１４５から出力される量子化データのうち、フレーム内符号化画像であるＩピクチャと、フレーム間順方向予測符号化画像であるＰピクチャは、後で符号化される他のＰピクチャ又は双方向予測符号化画像であるＢピクチャの符号化の際に、動き補償予測の参照データとして用いる必要があるため、逆量子化回路１４８及び逆ＤＣＴ回路１４９によるローカルデコードを行う。
【００２８】
逆量子化回路１４８は、入力される量子化データに対して逆量子化を行いＤＣＴ係数を出力する。逆ＤＣＴ回路１４９は、逆量子化回路１４８からのＤＣＴ係数に対して、逆ＤＣＴを行い再生画像を加算器１５０へ出力する。加算器１５０は、再生画像と動き補償予測回路１４２からの動き補償画像データとの加算を行い、得られたローカルデコードされた再生画像データを画像メモリ１５１に供給して記憶させる。
【図面の簡単な説明】
【００２９】
【図１】本発明の映像信号復号化装置の一実施の形態を含むレート変換装置のブロック図である。
【図２】本発明の映像信号復号化装置内のデコーダの一実施の形態のブロック図である。
【図３】本発明の映像信号復号化装置内のポスト処理部の一実施の形態のブロック図である。
【図４】図１の映像信号符号化装置を構成するエンコーダの一例のブロック図である。
【図５】レート変換を実現するための変換システムの一例のブロック図である。
【符号の説明】
【００３０】
１０  映像信号復号化装置
１１  デコーダ
１２  ポスト処理部
１３  映像信号符号化装置
１４  エンコーダ
１１１  ＶＬＤ（可変長符号復号器）
１１２  逆量子化回路
１１３  動き補償予測回路
１１４  復号化情報生成回路
１１５  逆ＤＣＴ回路
１１６  加算器
１１７  画像メモリ
１２１  フィルタ処理パラメータ生成回路
１２２  適応型フィルタ処理回路
【図１】
2005101914.tif 000003
【図２】
2005101914.tif 000004
【図３】
2005101914.tif 000005
【図４】
2005101914.tif 000006
【図５】
2005101914.tif 000007