(57)【要約】  非圧縮参照ピクチャメモリと圧縮参照ピクチャメモリは、予測用の再構築画像が格納される。映像復号器は、予測に基づき生成された復号対象フレームの再構築画像を非圧縮参照ピクチャメモリに格納し、非圧縮参照ピクチャメモリに格納された再構築画像のうち、復号対象フレームの予測に用いない再構築画像を圧縮して圧縮参照ピクチャメモリに格納し、非圧縮参照ピクチャメモリと圧縮参照ピクチャメモリに格納されている再構築画像を用いて前記映像ビットストリームを映像へ復号する。
2012005106.tif 000002
【特許請求の範囲】
【請求項１】
予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、
予測用の再構築画像が格納される第１と第２のメモリと、
前記再構築画像を圧縮する圧縮手段と、
圧縮された再構築画像を伸張する伸張手段と、
予測に基づき生成された復号対象フレームの再構築画像を前記第１のメモリに格納し、前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第２のメモリに格納し、前記第１のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、
を備えることを特徴とする映像復号装置。
【請求項２】
映像ビットストリームと符号化時の圧縮伸張の制御に関する動作パラメータとが多重化されたビットストリームを受信する受信手段と、
前記ビットストリームの多重化を解除して、前記映像ビットストリームと前記動作パラメータとを抽出する多重化解除手段と、
前記動作パラメータに基づいて前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、
を備えることを特徴とする請求項１に記載の映像復号装置。
【請求項３】
予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、
予測用の再構築画像が格納される第１と第２のメモリと、
前記再構築画像を圧縮する圧縮手段と、
圧縮された再構築画像を伸張する伸張手段と、
予測に基づき生成された、復号対象フレームの再構築画像を前記第１のメモリに格納するとともに、当該復号対象フレームの再構築画像を前記圧縮手段を介して圧縮して第２のメモリに格納し、前記第１のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、
を備えることを特徴とする映像復号装置。
【請求項４】
予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、
予測用の再構築画像が格納される第１と第２のメモリと、
前記再構築画像を圧縮する第１と第２の圧縮手段と、
前記第１の圧縮手段により圧縮された再構築画像を伸張する第１の伸張手段と、
前記第２の圧縮手段により圧縮された再構築画像を伸張する第２の伸張手段と、
予測に基づき生成された、復号対象フレームの再構築画像を前記第１の圧縮手段を介して圧縮して前記第１のメモリに格納し、前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記第１の伸張手段を介して伸張し、当該伸張した再構築画像を前記第２の圧縮手段を介して圧縮して第２のメモリに格納し、伸張された前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、
を備えることを特徴とする映像復号装置。
【請求項５】
入力画像を予測に基づいて映像ビットストリームへ符号化する映像符号化装置であって、
予測用の再構築画像が格納される第１と第２のメモリと、
前記再構築画像を圧縮する圧縮手段と、
圧縮された再構築画像を伸張する伸張手段と、
予測に基づき生成された符号化対象フレームの再構築画像を前記第１のメモリに格納し、前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第２のメモリに格納し、前記第１のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて入力画像を映像ビットストリームへ符号化する映像符号化手段と、
前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、
前記映像ビットストリームと前記圧縮伸張制御手段の動作パラメータとを多重化し、ビットストリームを出力する多重化手段と、
を備えることを特徴とする映像符号化装置。
【請求項６】
予測に基づき生成された復号対象フレームの再構築画像を第１のメモリに格納し、
前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第２のメモリに格納し、
前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する、
ことを特徴とする映像復号方法。
【請求項７】
予測に基づき生成された符号化対象フレームの再構築画像を第１のメモリに格納し、
前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第２のメモリに格納し、
前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化し、
前記再構築画像の圧縮伸張を制御し、
前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する、
ことを特徴とする映像符号化方法。
【請求項８】
コンピュータに、
予測に基づき生成された復号対象フレームの再構築画像を第１のメモリに格納する処理、
前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第２のメモリに格納する処理、
前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、
を実行させるためのプログラム。
【請求項９】
コンピュータに、
予測に基づき生成された符号化対象フレームの再構築画像を第１のメモリに格納する処理、
前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第２のメモリに格納する処理、
前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化する処理、
前記再構築画像の圧縮伸張を制御する処理、
前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する処理、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラムに関する。
【背景技術】
【０００２】
入力映像の各フレームに対して、所定の映像符号化方式に準拠した符号化処理を行い、符号化データすなわち映像ビットストリームを生成する映像符号化装置がある。また、このような映像ビットストリームを入力とし、復号映像を生成する映像復号装置がある。【０００３】
映像符号化方式の一例として、ＩＳＯ／ＩＥＣ  １４４９６−１０  ＡＶＣ（Advanced Video Coding）がある。ＩＳＯ／ＩＥＣ  １４４９６−１０  ＡＶＣは、各フレームをＭＢ（Macro Block）とよばれる１６×１６画素サイズのブロックに分割する。さらにＭＢを４×４画素サイズのブロックに分割し、この４×４ブロックを符号化の最小単位とする。フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）、４：２：０フォーマットの場合でのブロック分割の一例を図１４に示す。【０００４】
分割されたブロックは、予測に基づいて符号化される。フレーム内予測は、現在符号化処理対象のフレームの再構築画像を用いて画像を予測する。フレーム間予測、階層間予測、あるいはビュー間予測は、現在の符号化処理対象のフレームよりも過去に符号化されたフレームの再構築画像を用いて画像を予測する。さらに圧縮歪みを低減するために、符号化処理対象のフレームの再構築画像にはインループフィルタが適用される。映像符号化装置と映像復号装置は、再構築画像（参照ピクチャ）を含むフレームを格納するための参照ピクチャメモリを備える。【０００５】
映像符号化装置の出力した映像ビットストリームを復号して復号映像を得る映像復号装置に関し、例えば、特許文献１乃至３には、映像復号装置のメモリ帯域やメモリ容量を削減するため、参照ピクチャに非可逆圧縮を適用して参照ピクチャメモリに格納することが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４３８４１３０号
【特許文献２】特許第３９２８８１５号
【特許文献３】特許第３９１８２６３号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上記のように、映像復号装置において非可逆圧縮を参照ピクチャに適用すると、圧縮歪みが生じるため、復号映像の画質劣化が問題となる。【０００８】
本発明は、上記問題点に鑑みてなされたもので、その目的は、復号映像の画質劣化を低減する映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明は、予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第１と第２のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された復号対象フレームの再構築画像を前記第１のメモリに格納し、前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第２のメモリに格納し、前記第１のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置である。【００１０】
本発明は、予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第１と第２のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された、復号対象フレームの再構築画像を前記第１のメモリに格納するとともに、当該復号対象フレームの再構築画像を前記圧縮手段を介して圧縮して第２のメモリに格納し、前記第１のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置である。【００１１】
本発明は、予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第１と第２のメモリと、前記再構築画像を圧縮する第１と第２の圧縮手段と、前記第１の圧縮手段により圧縮された再構築画像を伸張する第１の伸張手段と、前記第２の圧縮手段により圧縮された再構築画像を伸張する第２の伸張手段と、予測に基づき生成された、復号対象フレームの再構築画像を前記第１の圧縮手段を介して圧縮して前記第１のメモリに格納し、前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記第１の伸張手段を介して伸張し、当該伸張した再構築画像を前記第２の圧縮手段を介して圧縮して第２のメモリに格納し、伸張された前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置である。【００１２】
本発明は、入力画像を予測に基づいて映像ビットストリームへ符号化する映像符号化装置であって、予測用の再構築画像が格納される第１と第２のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された符号化対象フレームの再構築画像を前記第１のメモリに格納し、前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第２のメモリに格納し、前記第１のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて入力画像を映像ビットストリームへ符号化する映像符号化手段と、前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、前記映像ビットストリームと前記圧縮伸張制御手段の動作パラメータとを多重化し、ビットストリームを出力する多重化手段と、を備えることを特徴とする映像符号化装置である。【００１３】
本発明は、予測に基づき生成された復号対象フレームの再構築画像を第１のメモリに格納し、前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第２のメモリに格納し、前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号することを特徴とする映像復号方法である。【００１４】
本発明は、予測に基づき生成された符号化対象フレームの再構築画像を第１のメモリに格納し、前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第２のメモリに格納し、前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化し、前記再構築画像の圧縮伸張を制御し、前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力することを特徴とする映像符号化方法である。【００１５】
本発明は、コンピュータに、予測に基づき生成された復号対象フレームの再構築画像を第１のメモリに格納する処理、前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第２のメモリに格納する処理、前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、を実行させるためのプログラムである。【００１６】
本発明は、コンピュータに、予測に基づき生成された符号化対象フレームの再構築画像を第１のメモリに格納する処理、前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第２のメモリに格納する処理、前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化する処理、前記再構築画像の圧縮伸張を制御する処理、前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する処理、を実行させるためのプログラムである。
【発明の効果】
【００１７】
本発明によれば、復号映像の画質劣化を低減することができる。
【図面の簡単な説明】
【００１８】
【図１】図１は本発明の第１の実施形態に係る映像復号装置のブロック図である。
【図２】図２は第１の実施形態の映像復号装置による映像復号処理を説明するためのフローチャートである。
【図３】図３は第１の実施形態の実施例に係る映像復号装置の構成を例示する図である。
【図４】図４はＭＭＳＱ方式の符号化疑似コードを示す図である。
【図５】図５は本発明の第２の実施形態に係る映像復号装置のブロック図である。
【図６】図６は本発明の第３の実施形態に係る映像復号装置のブロック図である。
【図７】図７は本発明の第４の実施形態に係る映像符号化装置のブロック図である。
【図８】図８は第４の実施形態の映像符号化装置による映像符号化処理を説明するためのフローチャートである。
【図９】図９はシーケンスパラメータへの補助情報の多重化例を示す図である。
【図１０】図１０はシーケンスパラメータへの補助情報の多重化例を示す図である。
【図１１】図１１は本発明の第５の実施形態に係る映像復号装置のブロック図である。
【図１２】図１２は第５の実施形態の映像復号装置による映像復号処理を説明するためのフローチャートである。
【図１３】図１３は映像復号装置と映像符号化装置をコンピュータシステムで実現した場合の構成図である。
【図１４】図１４はフレームのブロック分割例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について図面を参照して説明する。
【００２０】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る映像復号装置のブロック図である。図示されるように、第１の実施形態に係る映像復号装置は、映像復号器２０１と、参照ピクチャメモリ２０２と、メモリ圧縮器２０３と、メモリ伸張器２０４とを備える。参照ピクチャメモリ２０２は、予測用の再構築画像が格納されるメモリであり、非圧縮参照ピクチャメモリ２０２１と、圧縮参照ピクチャメモリ２０２２とを備える。
【００２１】
映像復号器２０１は、映像ビットストリームと、復号時に参照される再構築画像とを入力とし、復号映像を出力する。
【００２２】
映像復号器２０１は、復号対象フレームの復号時において復号対象フレームの再構築画像を参照する場合、すなわち、フレーム内予測や圧縮歪み低減処理等をする場合、非圧縮参照ピクチャメモリ２０２１から再構築画像を読み込む。また、映像復号器２０１は、復号対象フレームの復号時において復号対象フレーム以外の再構築画像を参照する場合、すなわち、フレーム間予測、階層間予測あるいはビュー間予測等をする場合、メモリ伸張器２０４を介して圧縮参照ピクチャメモリ２０２２から再構築画像を読み込む。
【００２３】
映像復号器２０１は、復号対象フレームの復号時において、参照される可能性のある復号対象フレームの再構築画像を非圧縮参照ピクチャメモリ２０２１に格納する。また、映像復号器２０１は、復号対象フレームの復号時において、参照されなくなった（予測に用いられない）復号対象フレームの再構築画像を非圧縮参照ピクチャメモリ２０２１から読み出し、メモリ圧縮器２０３を介して圧縮参照ピクチャメモリ２０２２に圧縮データとして格納する。
【００２４】
メモリ圧縮器２０３は、非圧縮参照ピクチャメモリ２０２１から読み出されて供給される画像に対して、非可逆圧縮を施して圧縮データを生成し、圧縮データを圧縮参照ピクチャメモリ２０２２に格納する。
【００２５】
メモリ伸張器２０４は、映像復号器２０１から要求された再構築画像を含む、圧縮参照ピクチャメモリ２０２２に格納された圧縮データを伸張する。
【００２６】
本発明の第１の実施形態に係る映像復号装置による映像復号処理について図２を参照して説明する。
【００２７】
映像復号器２０１は、復号対象フレームの復号時に、予測において、再構築画像を参照するか否かを判断する（ステップＳ１０１）。
【００２８】
再構築画像を参照すると判断された場合（ステップＳ１０１：ＹＥＳ）、映像復号器２０１は、復号対象フレームの再構築画像を参照するか（予測に用いるか）を判断する（ステップＳ１０２）。
【００２９】
復号対象フレームの再構築画像を参照すると判断された場合（ステップＳ１０２：ＹＥＳ）、映像復号器２０１は、参照する再構築画像を非圧縮参照ピクチャメモリ２０２１から読み込む（ステップＳ１０４）。
【００３０】
また、復号対象のフレームの再構築画像を参照しないと判断された場合（ステップＳ１０２：ＮＯ）、映像復号器２０１は、メモリ伸張器２０４を介して、参照する再構築画像を圧縮参照ピクチャメモリ２０２２から読み込む（ステップＳ１０３）。
【００３１】
映像復号器２０１は、映像ビットストリームと再構築画像とを入力とし、復号処理を行って復号画像を出力する（ステップＳ１０５）。
【００３２】
映像復号器２０１は、参照される可能性のある復号対象フレームの再構築画像を、参照ピクチャとして、非圧縮参照ピクチャメモリ２０２１に格納する（ステップＳ１０６）。
【００３３】
映像復号器２０１は、復号対象フレームの復号時に参照されなくなった復号対象フレームの再構築画像が非圧縮参照ピクチャメモリ２０２１に存在するかを判断する（ステップＳ１０７）。
【００３４】
復号対象フレームの復号時に参照されなくなった復号対象フレームの再構築画像が存在する場合（ステップＳ１０７：ＹＥＳ）、映像復号器２０１は、その再構築画像を非圧縮参照ピクチャメモリ２０２１から読み出し、メモリ圧縮器２０３を介して、圧縮参照ピクチャメモリ２０２２に圧縮データとして格納する（ステップＳ１０８）。
【００３５】
ステップＳ１０７で該当する再構築画像が存在しないと判断された場合（ステップＳ１０７：ＮＯ）、又は、ステップＳ１０８で圧縮データが圧縮参照ピクチャメモリ２０２２に格納された後、映像復号器２０１は、復号した映像ビットストリームが映像復号の最後のフレームであるか判断する（ステップＳ１０９）。最後のフレームであると判断された場合（ステップＳ１０９：ＹＥＳ）映像復号を終了する。また、最後のフレームでないと判断された場合（ステップ１０９：ＮＯ）、フローはステップＳ１０１に戻る。
【００３６】
以上のように、第１の実施形態に係る映像復号装置によれば、復号画像の画質劣化を低減できる。その理由は、復号対象フレームの復号時に参照される可能性のある復号対象のフレームの再構築画像を圧縮せずに非圧縮参照ピクチャメモリ２０２１に格納し、予測に非圧縮の再構築画像を用いることにより、復号対象フレームの圧縮歪みを低減できるからである。
【００３７】
なお、本実施の形態では、映像復号器２０１は、映像ビットストリームを復号した情報を用いて、参照ピクチャメモリ２０２への参照ピクチャの格納や読み出しを制御するが、これに限定されず、例えば、映像ビットストリームを復号した情報を用いて、参照ピクチャメモリ２０２への参照ピクチャの格納や読み出しを制御する参照ピクチャメモリ制御器をさらに備えるようにしてもよい。
【００３８】
この場合、参照ピクチャメモリ制御器は、映像復号器２０１での復号対象フレームの復号時において復号対象フレームの再構築画像を参照する場合、すなわち、フレーム内予測や圧縮歪み低減処理などをする場合、参照する再構築画像を非圧縮参照ピクチャメモリ２０２１から映像復号器２０１へ供給するよう制御する。また、参照ピクチャメモリ制御器は、復号対象フレーム以外の再構築画像を参照する場合、すなわち、フレーム間予測、階層間予測、あるいはビュー間予測などをする場合、参照する再構築画像を、メモリ伸張器２０４を介して、圧縮参照ピクチャメモリ２０２２から映像復号器２０１へ供給するよう制御する。
【００３９】
また、参照ピクチャメモリ制御器は、映像復号器２０１で復号した、参照される可能性のある復号対象フレームの再構築画像を参照ピクチャとして非圧縮参照ピクチャメモリ２０２１に格納するように制御する。参照ピクチャメモリ制御器は、映像復号器２０１での復号対象フレームの復号時に、参照されなくなった復号対象フレームの再構築画像を非圧縮参照ピクチャメモリ２０２１から読み出し、メモリ圧縮器２０３を介して圧縮参照ピクチャメモリ２０２２に圧縮データとして格納するよう制御する。
【００４０】
上述した第１の実施形態に係る映像復号装置の具体的な実施例について以下説明する。
【００４１】
図３は、本実施例に係る映像復号装置の構成を例示する。図示されるように、本実施例における映像復号器２０１は、可変長復号器３０１、スケーリング／逆量子化／逆整数変換器３０２、加算器３０３、インループフィルタ器３０４、フレーム内予測器３０５、フレーム間予測器３０６を含む。
【００４２】
また、本実施例では、映像符号化方式がＩＳＯ／ＩＥＣ  １４４９６−１０  ＡＶＣ（Advanced Video Coding）であり、メモリ圧縮器２０３及びメモリ伸張器２０４が、Ｎ画素を処理周期とし、予測誤差をＭビットで符号化する差分パルス符号化変調（DPCM:Differential Pulse Code Modulation）に対応する（ＤＰＣＭメモリ圧縮器３０７及びＤＰＣＭメモリ伸張器３０８）こととする。
【００４３】
映像復号器２０１は、Ｈ．２６４ビットストリーム及び復号時に参照される再構築画像を入力とし、復号映像を出力する。
【００４４】
復号対象のＭＢ（Macro Block）の復号時にフレーム内予測する場合、フレーム内予測器３０５は、非圧縮参照ピクチャメモリ２０２１から、参照する再構築画像を読み込む。また、フレーム間予測する場合、フレーム間予測器３０６は、参照する再構築画像を、ＤＰＣＭメモリ伸張器３０８を介して、圧縮参照ピクチャメモリ２０２２から読み込む。
【００４５】
加算器３０３は、可変長復号器３０１とスケーリング／逆量子化／逆整数変換器３０２を介して復号された差分信号と、参照する再構築画像とを加算し、対象ＭＢの画像を復号する。
【００４６】
映像復号器２０１は、復号された対象ＭＢの画像を、参照ピクチャとして非圧縮参照ピクチャメモリ２０２１に格納する。
【００４７】
インループフィルタ器３０４は、復号対象フレームの復号について、インループフィルタを除く処理が終了した後に、参照される再構築画像を圧縮参照ピクチャメモリ２０２１から読み込み、ラスタースキャン順にＭＢ毎にインループフィルタを施して、非圧縮参照ピクチャメモリ２０２１に格納する。
【００４８】
映像復号器２０１は、インループフィルタ器３０４で参照されない再構築画像を非圧縮参照ピクチャメモリ２０２１から読み出し、ＤＰＣＭメモリ圧縮器３０７を介して、圧縮データとして圧縮参照ピクチャメモリ２０２２に格納する。
【００４９】
なお、復号対象フレームがラスタースキャン順に符号化されている場合、ＭＢ単位でインループフィルタを施すようにしてもよい。この場合、非圧縮参照ピクチャメモリ２０２１の容量は、１フレーム分よりも小さくすることができる。具体的には、ラスタースキャン順にＭＢ単位で復号する場合に、イントラ予測、インループフィルタで参照される再構築画像のみを格納すればよい。
【００５０】
ＤＰＣＭメモリ圧縮器３０７及びＤＰＣＭメモリ伸張器３０８の動作を説明する。
【００５１】
処理周期分の入力画像の画素値をｘ（ｎ）＝０，１，．．．，Ｎ−１とすれば、圧縮した出力信号ｙ（ｎ）は式１で求める。
【００５２】
【数１】
2012005106.tif 000003
【００５３】
ブロック左端の画素値ｘ（０）は予測の基準画素としてＰＣＭで符号化、すなわち、入力した画素値が保存される。それ以外は、量子化代表値ｅｐｑｒ（ｎ）に対する量子化代表値配列の固定長インデックス値ｅｐｑｒｉｄｘ（ｎ）となる。ｅｐｑｒｉｄｘ（ｎ）は式２、式３、式４、式５を用いて求める。
【００５４】
【数２】
2012005106.tif 000004
【００５５】
【数３】
2012005106.tif 000005
【００５６】
【数４】
2012005106.tif 000006
【００５７】
【数５】
2012005106.tif 000007
【００５８】
ここで、ｅｐ（ｎ）は予測誤差、ｘｐ（ｎ）は予測画素値、ｘｒ（ｎ）は復号画素値を表す。
【００５９】
出力信号ｘ（ｎ）’の伸張は式６で求める。
【００６０】
【数６】
2012005106.tif 000008
【００６１】
本実施例では、メモリ圧縮、メモリ伸張にＤＰＣＭを適用したがこれに限定されず、他の方式を用いてもよい。例えば、Ｍ．Ｂｕｄａｇａｖｉ  ａｎｄ  Ｍ．Ｚｈｏｕ，“ＶＩＤＥＯ  ＣＯＤＩＮＧ  ＵＳＩＮＧ  ＣＯＭＰＲＥＳＳＥＤ  ＲＥＦＥＲＥＮＣＥ  ＦＲＡＭＥＳ”，ＩＣＡＳＳＰ’２００８，ｐｐ．１１６５‐１１６８，２００８．に記載されているＭｉｎ‐ｍａｘ‐ｓｃａｌａｒ‐ｑｕａｎｔｉｚａｔｉｏｎ（ＭＭＳＱ）方式を用いてもよい。ＭＭＳＱ方式の符号化疑似コードを図４に示す。ここで、入力画像は８ビットで表現されているものとする。処理周期内の最大画素値ｍａｘ、処理周期内の最小画素値ｍｉｎはＭビットで表現する。また、処理周期はＮ画素とする。ＭＭＳＱ方式は画素値ｘ[ｎ]と処理周期内の最小画素値との誤差に対して、線形量子化を行う。量子化時に利用する量子化パラメータｑｐは式７により求める。
【００６２】
【数７】
2012005106.tif 000009
【００６３】
ここでＬは量子化代表値数パラメータである。
【００６４】
（第２の実施形態）
次に、本発明の第２の実施形態に係る映像復号装置について説明する。本実施形態については、第１の実施形態との相違点についてのみ説明する。
【００６５】
図５は、本発明の第２の実施形態に係る映像復号装置のブロック図である。メモリ圧縮器２０３は、映像復号器２０１から供給される画像に対して、非可逆圧縮を施し、圧縮データを生成する。
【００６６】
第２の実施形態に係る映像復号装置の処理動作は、図２のフローチャートに示す第１の実施形態の映像復号装置の処理動作と比較して、ステップＳ１０６とステップＳ１０８で異なる。
【００６７】
ステップＳ１０６において、映像復号器２０１は、参照される可能性のある復号対象フレームの再構築画像を、参照ピクチャとして、非圧縮参照ピクチャメモリ２０２１に格納するとともに、その再構築画像に対して、メモリ圧縮器２０３を介して非可逆圧縮を施し、圧縮データを圧縮参照ピクチャメモリ２０２２に格納する。そして、ステップＳ１０８では、圧縮処理は行わず、ステップＳ１０９に進む。
【００６８】
以上のように、第２の実施形態に係る映像復号装置によれば、復号画像の画質劣化を低減するとともに、非可逆圧縮の処理タイミングを短縮することができる。その理由は、復号対象フレームの復号時に参照される可能性のある復号対象フレームの再構築画像を、非圧縮参照ピクチャメモリ２０２１と圧縮参照ピクチャメモリ２０２２に同時に格納するからである。
【００６９】
（第３の実施形態）
次に、本発明の第３の実施形態に係る映像復号装置について説明する。本実施形態については、第１の実施形態との相違点についてのみ説明する。
【００７０】
図６は、本発明の第３の実施形態に係る映像復号装置のブロック図である。第３の実施形態に係る映像復号装置は、第２メモリ圧縮器２０５と、第２メモリ伸張器２０６をさらに備える。また、非圧縮参照ピクチャメモリ２０２１の代わりに第２圧縮参照ピクチャメモリ２０２３を備える。
【００７１】
第２メモリ圧縮器２０５は、映像復号器２０１から供給される画像に対して、メモリ圧縮器２０３より圧縮率の低いあるいは高能率な符号化方式により圧縮を施し、圧縮データを生成し、圧縮データを第２圧縮参照ピクチャメモリ２０２３に格納する。
【００７２】
第２メモリ伸張器２０６は、映像復号器２０１から要求される再構築画像を含む、第２圧縮参照ピクチャメモリ２０２３に格納された圧縮データを伸張する。
【００７３】
第３の実施形態に係る映像復号装置の処理動作は、図２のフローチャートに示す第１の実施形態の映像復号装置の処理動作と比較して、ステップＳ１０４とステップＳ１０６とステップＳ１０８で異なる。
【００７４】
ステップＳ１０４において、映像復号器２０１は、参照する再構築画像を含む圧縮データを、第２メモリ伸張器２０６を介して第２圧縮参照ピクチャメモリ２０２３から読み出して伸張する。
【００７５】
ステップＳ１０６において、映像復号器２０１は、参照される可能性のある復号対象フレームの再構築画像を、参照ピクチャとして、第２メモリ圧縮器２０５を介して圧縮を施し、圧縮データを第２圧縮参照ピクチャメモリ２０２３に格納する。
【００７６】
ステップＳ１０８において、映像復号器２０１は、参照されなくなった再構築画像を含む、第２圧縮参照ピクチャメモリ２０２３に格納された圧縮データを第２メモリ伸張器２０６を介して伸張する。そして、伸張された再構築画像をメモリ圧縮器２０３を介して、圧縮参照ピクチャメモリ２０２２に圧縮データとして格納する。
【００７７】
以上のように、第３の実施形態に係る映像復号装置によれば、復号画像の画質劣化を低減するとともに、第２圧縮参照ピクチャメモリ２０２３のメモリ容量を削減できる。その理由は、映像復号器２０１から供給される画像に対し、復号対象フレームの復号時に参照される可能性のある復号対象フレームの再構築画像を圧縮率の低いあるいは高能率な符号化方式により圧縮を施して第２圧縮参照ピクチャメモリ２０２３に格納するからである。
【００７８】
（第４の実施形態）
図７は、本発明の第４の実施形態に係る映像符号化装置のブロック図である。図示されるように、第４の実施形態に係る映像符号化装置は、映像符号化器１０１と、参照ピクチャメモリ１０２と、メモリ圧縮器１０３と、メモリ伸張器１０４と、メモリ圧縮伸張制御器１０５と、多重化器１０６とを備える。参照ピクチャメモリ１０２は、非圧縮参照ピクチャメモリ１０２１と、圧縮参照ピクチャメモリ１０２２とを備える。
【００７９】
映像符号化器１０１は、入力映像と符号化時に参照される再構築画像を用いて各フレームを符号化し、その映像ビットストリームを多重化器１０６に供給する。
【００８０】
映像符号化器１０１は、符号化対象フレームの符号化時に、符号化対象フレームの再構築画像を参照する場合、非圧縮参照ピクチャメモリ１０２１から再構築画像を読み込む。また、符号化対象フレーム以外の再構築画像を参照する場合、メモリ伸張器１０４を介して圧縮参照ピクチャメモリ１０２２から再構築画像を読み込む。
【００８１】
映像符号化器１０１は、参照される可能性のある符号化対象フレームの再構築画像を非圧縮参照ピクチャメモリ１０２１に格納する。また、映像符号化器１０１は、符号化対象フレームの符号化時において、参照されなくなった符号化対象フレームの再構築画像を非圧縮参照ピクチャメモリ１０２１から読み出し、メモリ圧縮器１０３を介して圧縮参照ピクチャメモリ１０２２に圧縮データとして格納する。
【００８２】
メモリ圧縮器１０３は、非圧縮参照ピクチャメモリ１０２１から供給される画像に対して、非可逆圧縮を施して圧縮データを生成し、圧縮データを圧縮参照ピクチャメモリ１０２２に格納する。
【００８３】
メモリ伸張器１０４は、映像符号化器１０１から要求された再構築画像を含む、圧縮参照ピクチャメモリ２０２２に格納された圧縮データを伸張する。
【００８４】
メモリ圧縮伸張制御器１０５は、圧縮及び伸張に必要な補助情報を、メモリ圧縮器１０３、メモリ伸張器１０４にシグナリングする。メモリ圧縮伸張制御器１０５は、映像復号装置において、映像符号化装置と同一の参照ピクチャが得られるように、圧縮及び伸張に必要な補助情報を多重化器１０６に供給する。
【００８５】
多重化器１０６は、映像ビットストリームと補助情報とを多重化してビットストリームを出力する。
【００８６】
本発明の第４の実施形態に係る映像符号化装置による映像符号化処理について図８を参照して説明する。ここでは、メモリ圧縮伸張制御と、圧縮及び伸張に必要な補助情報の多重化とは符号化処理で一回のみ行う。しかし、これらの処理は、フレーム単位毎や複数フレーム単位毎に行うこともできる。
【００８７】
メモリ圧縮伸張制御器１０５は、圧縮及び伸張に必要な補助情報を、メモリ圧縮器１０３、メモリ伸張器１０４にシグナリングする（ステップＳ２０１）。また、メモリ圧縮伸張制御器１０５は、映像復号装置において、映像符号化装置と同一の参照ピクチャが得られるように、圧縮及び伸張に必要な補助情報を多重化器１０６に供給する。
【００８８】
多重化器１０６は、映像ビットストリームと補助情報とを多重化してビットストリームを出力する（ステップＳ２０２）。
【００８９】
映像符号化器１０１は、符号化対象フレームの符号化時に、再構築画像を参照するかを判断する（ステップＳ２０３）。
【００９０】
再構築画像を参照すると判断された場合（ステップＳ２０３：ＹＥＳ）、映像符号化器１０１は、符号化対象フレームの再構築画像を参照するかを判断する（ステップＳ２０４）。
【００９１】
符号化対象フレームの再構築画像を参照すると判断された場合（ステップＳ２０４：ＹＥＳ）、映像符号化器１０１は、参照する再構築画像を非圧縮参照ピクチャメモリ１０２１から読み込む（ステップＳ２０６）。
【００９２】
また、符号化対象のフレームの再構築画像を参照しないと判断された場合（ステップＳ２０４：ＮＯ）、映像符号化器１０１は、メモリ伸張器１０４を介して、参照する再構築画像を圧縮参照ピクチャメモリ１０２２から読み込む（ステップＳ２０５）。
【００９３】
映像符号化器１０１は、入力画像と再構築画像とを入力とし、符号化処理を行って映像ビットストリームを出力する（ステップＳ２０７）。
【００９４】
映像符号化器１０１は、参照される可能性のある符号化対象フレームの再構築画像を、参照ピクチャとして、非圧縮参照ピクチャメモリ１０２１に格納する（ステップＳ２０８）。
【００９５】
映像符号化器１０１は、符号化対象フレームの符号化時に参照されなくなった符号化対象フレームの再構築画像が存在するかを判断する（ステップＳ２０９）。
【００９６】
符号化対象フレームの符号化時に参照されなくなった符号化対象フレームの再構築画像が存在する場合（ステップＳ２０９：ＹＥＳ）、映像符号化器１０１は、その再構築画像を非圧縮参照ピクチャメモリ１０２１から読み出し、メモリ圧縮器１０３を介して、圧縮参照ピクチャメモリ１０２２に圧縮データとして格納する（ステップＳ２１０）。
【００９７】
ステップＳ２０９で該当する再構築画像が存在しないと判断された場合（ステップＳ２０９：ＮＯ）、又は、ステップＳ２１０で圧縮データが圧縮参照ピクチャメモリ１０２２に格納された後、映像符号化器１０１は、符号化した映像ビットストリームが映像符号化の最後のフレームであるか判断する（ステップＳ２１１）。最後のフレームであると判断された場合（ステップＳ２１１：ＹＥＳ）映像符号化を終了する。また、最後のフレームでないと判断された場合（ステップ２１１：ＮＯ）、フローはステップＳ２０３に戻る。
【００９８】
本実施形態では、映像符号化器１０１は、対象処理ブロック位置、対象処理、予測方法などの符号化時の情報を用いて、参照ピクチャメモリ１０２への参照ピクチャの格納や読み出し制御を制御しているが、これに限定されず、例えば第１の実施形態と同様に、参照ピクチャメモリ１０２への参照ピクチャの格納や読み出しを制御する参照ピクチャメモリ制御器をさらに備えるようにしてもよい。また、メモリ圧縮伸張制御器１０５が参照ピクチャメモリ制御器と同様の制御を行ってもよい。
【００９９】
上述した第４の実施形態に係る映像符号化装置の具体的な実施例について以下説明する。
【０１００】
本実施例では、メモリ圧縮器１０３及びメモリ伸張器１０４が、Ｎ画素を処理周期とし、予測誤差をＭビットで符号化する差分パルス符号化変調（DPCM:Differential Pulse Code Modulation）に対応することとする。
【０１０１】
メモリ圧縮伸張制御器１０５は、ＤＰＣＭ圧縮及びＤＰＣＭ伸張に必要な補助情報をメモリ圧縮器１０３、メモリ伸張器１０４にシグナリングする。
【０１０２】
メモリ圧縮伸張制御器１０５は、映像復号装置において、映像符号化装置と同一の参照ピクチャが得られるように、ＤＰＣＭ圧縮及びＤＰＣＭ伸張に必要な補助情報を多重化器１０６に供給する。
【０１０３】
ここで、補助情報は、例えば、圧縮伸張処理を適用するかのフラグ、圧縮参照ピクチャメモリの参照ピクチャ枚数、非圧縮参照ピクチャメモリの参照ピクチャ枚数、非圧縮参照ピクチャメモリ容量、圧縮参照ピクチャメモリ容量、ＤＰＣＭ圧縮の処理周期Ｎ、予測誤差に対する符号化ビット数Ｍ、量子化代表値配列及び量子化代表値配列の数を含む。これらの補助情報は、一組だけでもよいし、輝度信号や色差信号毎に複数持ってもよい。また、補助情報は、映像シーケンス毎、フレーム毎に持ってもよい。また、補助情報の全部または一部に関しては、映像符号化装置と映像復号装置で共通の固定値を設定することもできる。
【０１０４】
例えば、補助情報として、映像シーケンス毎に圧縮伸張処理を適用するかのフラグｍｅｍ＿ｃｏｍｐｒｅｓｓｉｏｎ＿ｆｌａｇ、圧縮参照ピクチャメモリの参照ピクチャ枚数ｎｕｍ＿ｃｏｍｐｒｅｓｓｅｄ＿ｒｅｆ＿ｐｉｃを多重化する場合を考える。ＩＳＯ／ＩＥＣ  １４４９６−１０  ＡＶＣのＳｐｅｃｉｆｉｃａｔｉｏｎ  ｏｆ  ｓｙｎｔａｘ  ｆｕｎｃｔｉｏｎ，ｃａｔｅｇｏｒｉｅｓ，ａｎｄ  ｄｅｓｃｒｉｐｔｏｒｓｈの記述に準じ、図９のリストに例示するようにシーケンスパラメータに補助情報を多重化してもよい。ここでは参照ピクチャメモリの総量ＭｅｍＳｉｚｅ、非圧縮参照ピクチャのメモリ容量ＵＣＭｅｍＳｉｚｅＰｅｒＰｉｃ、圧縮器の圧縮率ＣＲがシーケンスパラメータで一意に定まるとする。
【０１０５】
圧縮参照ピクチャメモリの参照ピクチャ枚数を多重化した場合、非圧縮参照ピクチャメモリの参照ピクチャ枚数ｎｕｍ＿ｕｎｃｏｍｐｒｅｓｓｅｄ＿ｒｅｆ＿ｐｉｃは式８により求めることができる。
【０１０６】
【数８】
2012005106.tif 000010
【０１０７】
このようにすることで、復号装置では、復号開始前にメモリ配置を確定することができる。この例では、圧縮参照ピクチャメモリの参照ピクチャ枚数を多重化したが、非圧縮参照ピクチャメモリの参照ピクチャ枚数ｎｕｍ＿ｕｎｃｏｍｐｒｅｓｓｅｄ＿ｒｅｆ＿ｐｉｃを多重化してもよい。また、この例では、参照ピクチャ枚数を多重化したが、参照ピクチャメモリ容量について、非圧縮ピクチャメモリのＭＢ数、画素数、メモリ容量等を多重化することもできる。例えば、ＭＢ数を指定する場合、対象ＭＢを含む、最近デコードしたＭＢ画像数を非圧縮画像として蓄積するようにしてもよい。また、直接、蓄積する非圧縮ＭＢのＭＢアドレスを別途多重化してもよい。
【０１０８】
また、別の補助情報として、映像シーケンス毎に圧縮伸張技術を適用するかのフラグｍｅｍ＿ｃｏｍｐｒｅｓｓｉｏｎ＿ｆｌａｇ、圧縮器に指定可能な圧縮率の数、非圧縮参照ピクチャメモリの参照ピクチャ枚数ｎｕｍ＿ｕｎｃｏｍｐｒｅｓｓｅｄ＿ｒｅｆ＿ｐｉｃ、圧縮参照ピクチャメモリの参照ピクチャ枚数ｎｕｍ＿ｃｏｍｐｒｅｓｓｅｄ＿ｒｅｆ＿ｐｉｃ[]を多重化する場合のリストを図１０に例示する。これにより、図９のリストと同様に異なる圧縮率を備えた圧縮器を利用する場合でも、復号装置では、復号開始前にメモリ配置を確定することができる。この例では、圧縮率の数を多重化したが、圧縮器の符号化方式が異なる場合は、符号化方式の圧縮率毎に参照ピクチャ数を多重化することもできる。
【０１０９】
同様に、メモリ圧縮器１０３及びメモリ伸張器１０４が、Ｎ画素を処理周期とし、予測誤差をＭビットで符号化するＭＭＳＱ方式に対応するとする。ここで、補助情報は、例えば、圧縮伸張処理を適用するかのフラグ、ＭＭＳＱ圧縮の処理周期Ｎ、処理周期内の最大画素値、処理周期内の最小画素値に対する符号化ビット数Ｍ、量子化代表値数パラメータＬを含む。
【０１１０】
以上のように、第４の実施形態に係る映像符号化装置によれば、復号映像の画質劣化を低減することができる。その理由は、映像符号化装置と映像復号装置間で参照ピクチャの画素値を完全に一致させることで、参照ピクチャの差異で生じた誤差の蓄積を無くすことができるからである。
【０１１１】
（第５の実施形態）
次に、本発明の第５の実施形態に係る映像復号装置について説明する。本実施形態については、第１の実施形態との相違点についてのみ説明する。
【０１１２】
図１１は、本発明の第５の実施形態に係る映像復号装置のブロック図である。第５の実施形態に係る映像復号装置は、多重化解除器２０７、メモリ圧縮伸張制御器２０８をさらに備える。
【０１１３】
多重化解除器２０７は、ビットストリームの多重化を解除して、映像ビットストリームと、圧縮及び伸張に必要な補助情報を抽出する。補助情報は、メモリ圧縮伸張制御器２０８に、映像ビットストリームは、映像復号器２０１に供給される。
【０１１４】
メモリ圧縮伸張制御器２０８は、供給される補助情報に基づいて、映像復号装置においても、映像符号化装置と同一の参照ピクチャ圧縮及び参照ピクチャ伸張を参照ピクチャに適用するように、メモリ圧縮器２０３及びメモリ伸張器２０４の動作を設定する。
【０１１５】
第５の実施形態に係る映像復号装置の動作について図１２のフローチャートを参照して説明する。ここでは、メモリ圧縮伸張制御と、圧縮及び伸張に必要な補助情報の多重化とは符号化処理で一回のみ行う。しかし、これらの処理は、映像符号化時と同一の単位毎（フレーム単位毎や複数フレーム単位毎）に行うこともできる。第１の実施形態の図２のフローチャートと比較して、ステップＳ１１０とステップＳ１１１が追加される。この追加されたステップについて説明する。
【０１１６】
ステップＳ１１０において、多重化解除器２０７は、ビットストリームの多重化を解除して、映像ビットストリームと、圧縮及び伸張に必要な補助情報を抽出する。そして、補助情報をメモリ圧縮伸張制御器２０８に供給し、映像ビットストリームを映像復号器２０１に供給する。
【０１１７】
ステップＳ１１１において、メモリ圧縮伸張制御器２０８は、供給される補助情報に基づいて、映像復号装置においても、映像符号化装置と同一の参照ピクチャ圧縮及び参照ピクチャ伸張を参照ピクチャに適用するように、メモリ圧縮器２０３及びメモリ伸張器２０４の動作を設定する。
【０１１８】
本実施形態では、映像復号器２０１が、ビットストリームを復号した情報を用いて、参照ピクチャメモリ２０２への参照ピクチャの格納や読み出し制御を制御しているが、これに限定されず、例えば第１の実施形態と同様に、参照ピクチャメモリ２０２への参照ピクチャの格納や読み出しを制御する参照ピクチャメモリ制御器をさらに備えるようにしてもよい。また、メモリ圧縮伸張制御器２０８が参照ピクチャメモリ制御器と同様の制御を行ってもよい。
【０１１９】
以上のように、第５の実施形態に係る映像復号装置によれば、復号映像の画質劣化を低減することができる。その理由は、その理由は、映像符号化装置と映像復号装置間で参照ピクチャの画素値を完全に一致させることで、参照ピクチャの差異で生じた誤差の蓄積を無くすことができるからである。
【０１２０】
以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【０１２１】
また、本発明は、例えば、”画素ビット長拡張による動画像符号化効率改善方式”，情報科学フォーラム２００６  Ｊ‐００９，２００６、に記載されるような、入力映像のビット深度を伸張して映像符号化する場合に、伸張したビット深度に応じて増加する参照ピクチャメモリを削減する用途にも応用できる。
【０１２２】
また、本発明は、復号対象フレームの再構築画像を圧縮せずに、非圧縮参照ピクチャメモリ２０２１に格納したが、これに限定されず、例えば、ＡＶＣにおけるアクセスユニット内の参照ピクチャの再構築画像を圧縮せずに、非圧縮参照ピクチャメモリ２０２１に格納してもよい。また、ＡＶＣスケーラブル符号化におけるベースレイヤの再構築画像を圧縮せずに、非圧縮参照ピクチャメモリ２０２１に格納してもよい。また、ＡＶＣマルチビュー符号化におけるベースビューの再構築画像を圧縮せずに、非圧縮参照ピクチャメモリ２０２１に格納してもよい。
【０１２３】
上述した本発明の実施形態に係る映像復号装置と映像符号化装置は、プロセッサがメモリ又は記録媒体に格納された動作プログラム等を読み出して実行することにより実現されてもよく、また、ハードウェアで構成されてもよい。上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することもできる。
【０１２４】
本実施形態に係る映像復号装置と映像符号化装置を情報処理システムで実現した場合の構成図を図１３に例示する。この情報処理システムは、プロセッサ４０１、プログラムメモリ４０２、記憶媒体４０３及び４０４を備える。プロセッサ４０１は、プログラムメモリ４０２に記憶されるプログラムを実行することにより、映像復号装置と映像符号化装置のいずれか、又は、双方の機能を実現する。記憶媒体４０３及び４０４は、別個の記憶媒体であってもよく、同一の記憶媒体であってもよい。記憶媒体は、ハードディスク、ＣＤ−ＲＯＭ等の記憶媒体を含む。
【０１２５】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１２６】
（付記１）
予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、
予測用の再構築画像が格納される第１と第２のメモリと、
前記再構築画像を圧縮する圧縮手段と、
圧縮された再構築画像を伸張する伸張手段と、
予測に基づき生成された復号対象フレームの再構築画像を前記第１のメモリに格納し、前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第２のメモリに格納し、前記第１のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、
を備えることを特徴とする映像復号装置。
【０１２７】
（付記２）
前記映像復号手段は、
予測において復号対象フレームの再構築画像を参照する場合、前記第１のメモリに格納されている再構築画像を読み出し、
前記予測において前記復号対象フレーム以外の再構築画像を参照する場合、前記第２のメモリから前記再構築画像を読み出し、前記伸張手段を介して伸張する、
ことを特徴とする付記１に記載の映像復号装置。
【０１２８】
（付記３）
前記映像復号手段は、予測において参照される可能性のある復号対象フレームの再構築画像を、前記第１のメモリに格納する、
ことを特徴とする付記１又は２に記載の映像復号装置。
【０１２９】
（付記４）
前記映像復号手段は、
参照されなくなった復号対象フレームの再構築画像を、前記第１のメモリから読み出し、前記圧縮手段を介して前記第２のメモリに圧縮データとして格納する、
ことを特徴とする付記１乃至３のいずれか１項に記載の映像復号装置。
【０１３０】
（付記５）
映像ビットストリームと符号化時の圧縮伸張の制御に関する動作パラメータとが多重化されたビットストリームを受信する受信手段と、
前記ビットストリームの多重化を解除して、前記映像ビットストリームと前記動作パラメータとを抽出する多重化解除手段と、
前記動作パラメータに基づいて前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、
を備えることを特徴とする付記１乃至４のいずれか１項に記載の映像復号装置。
【０１３１】
（付記６）
予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、
予測用の再構築画像が格納される第１と第２のメモリと、
前記再構築画像を圧縮する圧縮手段と、
圧縮された再構築画像を伸張する伸張手段と、
予測に基づき生成された、復号対象フレームの再構築画像を前記第１のメモリに格納するとともに、当該復号対象フレームの再構築画像を前記圧縮手段を介して圧縮して第２のメモリに格納し、前記第１のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、
を備えることを特徴とする映像復号装置。
【０１３２】
（付記７）
予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、
予測用の再構築画像が格納される第１と第２のメモリと、
前記再構築画像を圧縮する第１と第２の圧縮手段と、
前記第１の圧縮手段により圧縮された再構築画像を伸張する第１の伸張手段と、
前記第２の圧縮手段により圧縮された再構築画像を伸張する第２の伸張手段と、
予測に基づき生成された、復号対象フレームの再構築画像を前記第１の圧縮手段を介して圧縮して前記第１のメモリに格納し、前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記第１の伸張手段を介して伸張し、当該伸張した再構築画像を前記第２の圧縮手段を介して圧縮して第２のメモリに格納し、伸張された前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、
を備えることを特徴とする映像復号装置。
【０１３３】
（付記８）
入力画像を予測に基づいて映像ビットストリームへ符号化する映像符号化装置であって、
予測用の再構築画像が格納される第１と第２のメモリと、
前記再構築画像を圧縮する圧縮手段と、
圧縮された再構築画像を伸張する伸張手段と、
予測に基づき生成された符号化対象フレームの再構築画像を前記第１のメモリに格納し、前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第２のメモリに格納し、前記第１のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて入力画像を映像ビットストリームへ符号化する映像符号化手段と、
前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、
前記映像ビットストリームと前記圧縮伸張制御手段の動作パラメータとを多重化し、ビットストリームを出力する多重化手段と、
を備えることを特徴とする映像符号化装置。
【０１３４】
（付記９）
前記映像符号化手段は、
予測において符号化対象フレームの再構築画像を参照する場合、前記第１のメモリに格納されている再構築画像を読み出し、
前記予測において前記符号化対象フレーム以外の再構築画像を参照する場合、前記第２のメモリから前記再構築画像を読み出し、前記伸張手段を介して伸張する、
ことを特徴とする付記８に記載の映像符号化装置。
【０１３５】
（付記１０）
前記映像符号化手段は、予測において参照される可能性のある符号化対象フレームの再構築画像を、前記第１のメモリに格納する、
ことを特徴とする付記８又は９に記載の映像符号化装置。
【０１３６】
（付記１１）
前記映像符号化手段は、
参照されなくなった符号化対象フレームの再構築画像を、前記第１のメモリから読み出し、前記圧縮手段を介して前記第２のメモリに圧縮データとして格納する、
ことを特徴とする付記８乃至１０のいずれか１項に記載の映像符号化装置。
【０１３７】
（付記１２）
予測に基づき生成された復号対象フレームの再構築画像を第１のメモリに格納し、
前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第２のメモリに格納し、
前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する、
ことを特徴とする映像復号方法。
【０１３８】
（付記１３）
予測において復号対象フレームの再構築画像を参照する場合、前記第１のメモリに格納されている再構築画像を読み出し、
前記予測において前記復号対象フレーム以外の再構築画像を参照する場合、前記第２のメモリから前記再構築画像を読み出し、前記伸張手段を介して伸張する、
ことを特徴とする付記１２に記載の映像復号方法。
【０１３９】
（付記１４）
予測において参照される可能性のある前記復号対象フレームの再構築画像を、前記第１のメモリに格納する、
ことを特徴とする付記１２又は１３に記載の映像復号方法。
【０１４０】
（付記１５）
参照されなくなった復号対象フレームの再構築画像を、前記第１のメモリから読み出し、前記圧縮手段を介して前記第２のメモリに圧縮データとして格納する、
ことを特徴とする付記１２乃至１４のいずれか１項に記載の映像復号方法。
【０１４１】
（付記１６）
映像ビットストリームと符号化時の圧縮伸張に関する動作パラメータが多重化されたビットストリームを受信し、
前記ビットストリームの多重化を解除して、前記映像ビットストリームと前記動作パラメータとを抽出し、
前記動作パラメータに基づいて前記再構築画像の圧縮と伸張を制御する、
ことを特徴とする付記１２乃至１５のいずれか１項に記載の映像復号方法。
【０１４２】
（付記１７）
予測に基づき生成された、復号対象フレームの再構築画像を第１のメモリに格納するとともに、当該復号対象フレームの再構築画像を圧縮して第２のメモリに格納し、
前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する、
ことを特徴とする映像復号方法。
【０１４３】
（付記１８）
予測に基づき生成された、復号対象フレームの再構築画像を第１の圧縮方式により圧縮して第１のメモリに格納し、
前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を伸張し、第２の圧縮方式により圧縮して第２のメモリに格納し、
伸張された前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する、
ことを特徴とする映像復号方法。
【０１４４】
（付記１９）
予測に基づき生成された符号化対象フレームの再構築画像を第１のメモリに格納し、
前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第２のメモリに格納し、
前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化し、
前記再構築画像の圧縮伸張を制御し、
前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する、
ことを特徴とする映像符号化方法。
【０１４５】
（付記２０）
予測において符号化対象フレームの再構築画像を参照する場合、前記第１のメモリに格納されている再構築画像を読み出し、
前記予測において前記符号化対象フレーム以外の再構築画像を参照する場合、前記第２のメモリから前記再構築画像を読み出し、前記伸張手段を介して伸張する、
ことを特徴とする付記１９に記載の映像符号化方法。
【０１４６】
（付記２１）
予測において参照される可能性のある符号化対象フレームの再構築画像を、前記第１のメモリに格納する、
ことを特徴とする付記１９又は２０に記載の映像符号化方法。
【０１４７】
（付記２２）
参照されなくなった符号化対象フレームの再構築画像を、前記第１のメモリから読み出して圧縮し、前記第２のメモリに格納する、
ことを特徴とする付記１９乃至２１のいずれか１項に記載の映像符号化方法。
【０１４８】
（付記２３）
コンピュータに、
予測に基づき生成された復号対象フレームの再構築画像を第１のメモリに格納する処理、
前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第２のメモリに格納する処理、
前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、
を実行させるためのプログラム。
【０１４９】
（付記２４）
コンピュータに、
予測に基づき生成された、復号対象フレームの再構築画像を第１のメモリに格納するとともに、当該復号対象フレームの再構築画像を圧縮して第２のメモリに格納する処理、
前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、
を実行させるためのプログラム。
【０１５０】
（付記２５）
コンピュータに、
予測に基づき生成された、復号対象フレームの再構築画像を第１の圧縮方式により圧縮して第１のメモリに格納する処理、
前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を伸張し、第２の圧縮方式により圧縮して第２のメモリに格納する処理、
伸張された前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、
を実行させるためのプログラム。
【０１５１】
（付記２６）
コンピュータに、
予測に基づき生成された符号化対象フレームの再構築画像を第１のメモリに格納する処理、
前記第１のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第２のメモリに格納する処理、
前記第１のメモリに格納される再構築画像と、伸張された前記第２のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化する処理、
前記再構築画像の圧縮伸張を制御する処理、
前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する処理、
を実行させるためのプログラム。
【０１５２】
以上、実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。この出願は、２０１０年７月８日に出願された日本出願特願２０１０−１５５６０１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１５３】
１０１    映像符号化器
１０２    参照ピクチャメモリ
１０２１    非圧縮参照ピクチャメモリ
１０２２    圧縮参照ピクチャメモリ
１０３    メモリ圧縮器
１０４    メモリ伸張器
１０５    メモリ圧縮伸張制御器
１０６    多重化器
２０１    映像復号器
２０２    参照ピクチャメモリ
２０２１    非圧縮参照ピクチャメモリ
２０２２    圧縮参照ピクチャメモリ
２０３    メモリ圧縮器
２０４    メモリ伸張器
２０７    多重化解除器
２０８    メモリ圧縮伸張制御器
３０１    可変長復号器
３０２    スケーリング／逆量子化／逆整数変換器
３０３    加算器
３０４    インループフィルタ器
３０５    フレーム内予測器
３０６    フレーム間予測器
３０７    ＤＰＣＭメモリ圧縮器
３０８    ＤＰＣＭメモリ伸張器
４０１    プロセッサ
４０２    プログラムメモリ
４０３、４０４    記憶媒体
【図１】
2012005106.tif 000011
【図２】
2012005106.tif 000012
【図３】
2012005106.tif 000013
【図４】
2012005106.tif 000014
【図５】
2012005106.tif 000015
【図６】
2012005106.tif 000016
【図７】
2012005106.tif 000017
【図８】
2012005106.tif 000018
【図９】
2012005106.tif 000019
【図１０】
2012005106.tif 000020
【図１１】
2012005106.tif 000021
【図１２】
2012005106.tif 000022
【図１３】
2012005106.tif 000023
【図１４】
2012005106.tif 000024
【国際調査報告】
2012005106.tif 000025
2012005106.tif 000026
2012005106.tif 000027
2012005106.tif 000028