(57)【要約】【課題】逆方向再生時に必要な画像バッファを最小限に抑え、かつ、逆方向再生の処理負荷を極めて小さくすることが可能な映像データ復号再生装置を得る。【解決手段】圧縮画像データの中から、テクスチャ符号化情報を除いた符号化パラメタを符号化パラメタバッファ１１３に保存する。符号化パラメタバッファ１１３は、復号動作モード１１６が簡易逆方向再生動作を示している場合、逆方向の動き補償処理を行うために必要な動き情報を生成する。動き補償器１０９は、符号化パラメタバッファ１１３からの動き情報を用いて画像バッファ１１１に蓄積された復号画像から逆方向の画像を動き補償予測する。【選択図】図１
2011160196.tif 000002
【特許請求の範囲】
【請求項１】
所定の圧縮符号化の方式に従った圧縮画像データを復号した復号画像を蓄積する画像蓄積手段と、
前記圧縮画像データの中から、テクスチャ符号化情報を除いた符号化パラメタを保存するパラメタ保存手段と、
復号順序を逆転させる指示を受けた場合、前記符号化パラメタの動き情報から逆方向の動き補償処理を行うために必要な動き情報を生成する動き情報生成手段と、
前記逆方向の動き情報を用い、前記画像蓄積手段に蓄積された復号画像から、逆方向の画像を動き補償予測する画像生成手段とを備えた映像データ復号再生装置。
【請求項２】
動き情報生成手段は、パラメタ保存手段に保存された符号化パラメタと、テクスチャ符号化情報の長さとの比較結果に基づいて動き補償予測を行うか否かを判断し、動き情報を生成することを特徴とする請求項１記載の映像データ復号再生装置。
【請求項３】
動き情報生成手段は、パラメタ保存手段に保存された符号化パラメタのうち、該当するマクロブロックの動き情報の長さに応じて動き補償予測を行うか否かを判断し、動き情報を生成することを特徴とする請求項１記載の映像データ復号再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮された映像符号化データを復号再生する映像データ復号再生装置に関し、特に、その逆方向再生時の制御に関するものである。
【背景技術】
【０００２】
Ｍｏｔｉｏｎ−ＪＰＥＧ等、フレーム間予測を利用しない圧縮方式では、順方向再生に加え、逆方向再生、高速な逆方向再生などが容易に実現可能である。一方、ＭＰＥＧを始めとするフレーム間予測を利用して映像圧縮方式されたデータは、定められた順序で復号、再生処理を行うことが暗に求められ、逆方向再生、高速な順・逆方向再生といった、特殊再生を行うことが困難である。
【０００３】
ＭＰＥＧは、特殊再生のために、フレーム内符号化を行うＩピクチャ、順方向予測だけを行うＰピクチャ、両方向予測を行うＢピクチャの３種のピクチャタイプを設定することで、Ｉピクチャからの再生を可能にし、またＩ／Ｐピクチャだけを復号することによる順方向の高速再生を実現する仕組みを設けている。しかし、ＭＰＥＧでは、逆方向の再生に関しては、Ｉピクチャ単位の復号は可能であるが、それより細かな時間単位での復号再生は困難である。
【０００４】
例えば、特許文献１には、逆方向の再生をスムーズに行うために、順方向復号再生時に、ＩピクチャからＩピクチャまでのＧＯＰ単位の画像全ての復号画像を画像バッファに蓄えておき、逆方向時には、蓄積した画像バッファから読み出して再生する画像再生方法が示されている。
【０００５】
また、特許文献２には、特許文献１では大量に必要だった画像バッファを削減するために、ＧＯＰ内で、予測に必要なＩピクチャとＰピクチャだけを画像バッファに蓄え、再生が必要な画像を得るまで順方向に高速な再生を行い、逆方向再生に必要な画像を順次再生する再生装置が示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２０５７３９号公報
【特許文献２】特開２０００−２１７１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の特許文献１に記載されたような画像再生方法では、順方向復号再生時に、ＧＯＰ単位の復号画像全てを画像バッファに蓄積するため、１ＧＯＰの逆再生に必要な全ての画像が画像バッファに蓄積されており、スムーズな逆方向再生が可能となることが期待されるが、１ＧＯＰの画像を蓄積するための画像バッファが大きくなるといった問題があった。特許文献１には予め用意した画像バッファを越える画像を蓄積する場合には時間方向で間引いて蓄積することが開示されているが、この場合は、間引くことによりスムーズな再生が阻害されるといった別の問題があった。
【０００８】
また、特許文献２に記載された再生装置では、逆方向再生を行うために必要な画像バッファを削減するために、１ＧＯＰ内で予測に必要なＩピクチャとＰピクチャだけを画像バッファに備え、逆方向再生に必要なＢピクチャ画像を順次生成するため、逆方向再生に必要な画像バッファは２枚に抑えられ、画像バッファの削減が期待されるが、逆方向再生に必要なＢピクチャ画像を、都度、画像バッファに蓄積された被予測画像と符号化データとから生成するため、通常の復号再生時に比較して、極めて高速な復号処理が必要となるという問題があった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、逆方向再生時に必要な画像バッファを最小限に抑え、かつ、逆方向再生の処理負荷を極めて小さくすることが可能な映像データ復号再生装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る映像データ復号再生装置は、所定の圧縮符号化の方式に従った圧縮画像データを復号した復号画像を蓄積する画像蓄積手段と、圧縮画像データの中から、テクスチャ符号化情報を除いた符号化パラメタを保存するパラメタ保存手段と、復号順序を逆転させる指示を受けた場合、符号化パラメタの動き情報から逆方向の動き補償処理を行うために必要な動き情報を生成する動き情報生成手段と、逆方向の動き情報を用い、画像蓄積手段に蓄積された復号画像から、逆方向の画像を動き補償予測する画像生成手段とを備えたものである。
【発明の効果】
【００１１】
この発明の映像データ復号再生装置は、テクスチャ符号化情報を除いた符号化パラメタを保存し、この符号化パラメタの動き情報から逆方向の動き補償処理を行うために必要な動き情報を生成し、この動き情報に基づいて蓄積された復号画像から逆方向の画像を動き補償予測するようにしたので、逆方向再生時に必要な画像バッファを最小限に抑え、かつ、逆方向再生の処理負荷を極めて小さくすることができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１による映像データ復号再生装置を示す構成図である。
【図２】この発明の実施の形態１による映像データ復号再生装置の通常復号と簡易逆方向復号を示す説明図である。
【図３】この発明の実施の形態１による映像データ復号再生装置の符号化パラメタバッファの動作を示す説明図である。
【図４】この発明の実施の形態２による映像データ復号再生装置の符号化パラメタバッファを示す構成図である。
【図５】この発明の実施の形態３による映像データ復号再生装置の符号化パラメタバッファを示す構成図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、この発明の実施の形態１による映像データ復号再生装置を示す構成図である。
図１に示す映像データ復号再生装置は、入力データバッファ１０２、可変長復号器（ＶＬＤ）１０３、逆量子化部１０６、逆ＤＣＴ部１０７、第１のスイッチャ１０８、動き補償器１０９、加算器１１０、画像バッファ１１１、符号化パラメタバッファ１１３、第２のスイッチャ１１４、第３のスイッチャ１１５を備えている。
【００１４】
入力データバッファ１０２は、所定の圧縮符号化の方式に従った圧縮符号化データ１０１を入力し、格納するバッファである。可変長復号器１０３は、入力データバッファ１０２に格納された圧縮符号化データである圧縮画像データを可変長復号するものであり、圧縮符号化データを可変長復号した後に、テクスチャ符号化情報である符号化係数データ１０４と、符号化モードや量子化パラメタや動き情報データ等の符号化パラメタ１０５とを分離する。また、符号化モード１０５ａを第１のスイッチャ１０８へ、量子化パラメタ１０５ｂを逆量子化部１０６に出力する。逆量子化部１０６は、可変長復号器１０３から出力される符号化係数データ１０４を入力し、量子化パラメタ１０５ｂに基づいて逆量子化するものである。また、逆ＤＣＴ部１０７は、逆量子化部１０６からの出力に対して逆ＤＣＴ処理を行うものである。
【００１５】
第１のスイッチャ１０８は、符号化パラメタ１０５の中の符号化モード１０５ａにより制御されるスイッチであり、その入力は、フレーム内符号化モードの場合はａ側に、フレーム間符号化モードの場合はｃ側に接続される。動き補償器１０９は、第２のスイッチャ１１４を介して与えられる動き情報に基づいて、画像バッファ１１１に格納されている画像の動き補償予測画像の生成を行う画像生成手段である。
【００１６】
加算器１１０は、第３のスイッチャ１１５からの出力と動き補償器１０９からの出力とを加算して第１のスイッチャ１０８の入力ｃに出力するよう構成されている。画像バッファ１１１は、復元された画像データを格納する画像蓄積手段であり、第１のスイッチャ１０８から出力される画像を格納し、画像出力１１２を行うと共に、動き補償器１０９に必要な画像出力を行う。符号化パラメタバッファ１１３は、例えばＦＩＬＯ（後入れ先出し）バッファで構成され、可変長復号器１０３から出力される符号化パラメタ１０５を格納し、復号動作モード１１６が逆方向再生を示している場合、動きベクトルを反転して第２のスイッチャ１１４に出力すると共に、蓄積された符号化モード１１７を第１のスイッチャ１０８に出力する。また、この符号化パラメタバッファ１１３は、パラメタ保存手段と動き情報生成手段を構成する。第２のスイッチャ１１４は、復号動作モード１１６で選択される、通常復号再生時の動きベクトルと簡易逆方向再生動作時の動きベクトルとを選択して動き補償器１０９に出力するためのスイッチである。第３のスイッチャ１１５は、復号動作モード１１６で選択される、通常復号再生時の逆ＤＣＴ出力と簡易逆方向再生動作の値を選択して加算器１１０に出力するためのスイッチである。尚、第１のスイッチャ１０８におけるｂ側端子および第３のスイッチャ１１５におけるｑ側端子のＸは入力がない（ゼロデータ）であることを示している。
【００１７】
次に、実施の形態１の映像データ復号再生装置の動作について説明する。
ここでは、動き補償予測を用いた所定の圧縮符号化の方式に従った圧縮画像データが入力され、通常復号動作が一定期間為された後に、逆方向復号動作を行う形態を説明する。
【００１８】
先ず、通常復号動作について説明する。
所定の圧縮符号化の方式に従った圧縮符号化データ１０１は、入力データバッファ１０２に蓄積される。入力データバッファ１０２に蓄積された圧縮画像データは逐次、可変長復号器１０３に入力される。可変長復号器１０３は、圧縮された画像データを可変長復号した後に、符号化係数データ１０４と符号化モードや量子化パラメタや動き情報データなどの符号化パラメタ１０５とに分離する。符号化係数データ１０４は、逆量子化部１０６により逆量子化され、引き続き、逆ＤＣＴ部１０７により逆ＤＣＴ処理が行われる。逆ＤＣＴ部１０７の出力は第１のスイッチャ１０８と第３のスイッチャ１１５とに出力される。第１のスイッチャ１０８の入力は、符号化パラメタ１０５の中の符号化モード１０５ａにより制御される。即ち、フレーム内符号化モードの場合にはａ側に、フレーム間符号化モードの場合にはｃ側に接続される。第３のスイッチャ１１５は、外部から指定される復号動作モード１１６により制御される。復号動作モード１１６は通常復号動作の場合にｐ側に、簡易逆方向再生動作の場合にｑ側に接続される。尚、もう一つのスイッチャである第２のスイッチャ１１４も第３のスイッチャ１１５と同一の制御が為される。
【００１９】
通常復号動作の場合、逆ＤＣＴ部１０７の出力は、第３のスイッチャ１１５を通して加算器１１０に伝えられ、一方、符号化パラメタ１０５の動き情報が第２のスイッチャ１１４を通して動き補償器１０９に伝えられ、動き補償の結果も加算器１１０に伝えられ、復元された画像データが画像バッファ１１１に蓄積される。この動作の中で、符号化位置や符号化モードや動き情報などＤＣＴ係数を除いた符号化パラメタ１０５は復号された画像毎にまとめて符号化パラメタバッファ１１３に蓄積されていく。本動作の繰り返しにより、図２中、（ａ）の通常復号動作に示されるように、時系列Ｉ１→Ｐ１→Ｐ２→Ｐ３と画像が復元されていく。
【００２０】
ここで、図２における通常復号のＰ３まで復号された際に、復号動作モード１１６が、簡易逆方向再生動作に切り替わったものとする。復号動作モード１１６が簡易逆方向再生動作に切り替わることにより、第２のスイッチャ１１４および第３のスイッチャ１１５の入力がｑ側に接続され、更に、符号化パラメタバッファ１１３に蓄積された符号化モード１１７が出力されることで、第１のスイッチャ１０８の切り替えが、フレーム内符号化モード時にｂ側に、フレーム間符号化モード時にｃ側に接続されることになる。そして、符号化パラメタバッファ１１３からは、通常復号動作時に蓄積した符号化パラメタが、ピクチャ単位で時系列を遡る順序に出力される。この際、符号化パラメタバッファ１１３に蓄積されていた動きベクトルは、図２中、（ｂ）の逆方向復号に示す如く、通常復号のベクトルの反対方向を指すように補正される（例えば、Ｖ３から−Ｖ３へ補正）。更に、通常復号時のＰ３とＶ３の関係からＰ２における補償される位置も符号化パラメタバッファ１１３から出力される。
【００２１】
図３は、このような符号化パラメタバッファ１１３における通常復号再生時と簡易逆方向再生動作におけるパラメタのバッファ動作を示す説明図である。
図示の符号化パラメタバッファ１１３はＦＩＬＯ型バッファの例であり、通常復号動作時では符号化パラメタ１０５がベクトルバッファ１１８と符号化モードバッファ１１９に格納されていく（この動作をｐｕｓｈと呼ぶ）。一方、簡易逆方向再生動作時には、入れた順序の逆順で、ベクトルバッファと符号化モードバッファから取り出し（この動作をｐｏｐと呼ぶ）、符号化モード１１７として第１のスイッチャ１０８へ出力する。また、符号化パラメタバッファ１１３は、ベクトル値を反転させるベクトル値反転器１２０を備え、取り出す場合はこのベクトル値反転器１２０によってベクトル値を反転させて第２のスイッチャ１１４へ出力する。尚、ここでは、符号化パラメタバッファ１１３をＦＩＬＯ型バッファ（スタック）で構成したが、動き情報生成手段として同様の機能を有するものであればどのようなバッファ構成であってもよい。
【００２２】
これらの情報を用いて、図２の（ｂ）に示すＰ２はＰ３から動き補償予測のみを用いて生成される。即ち、上述したように、図１において、簡易逆方向動作時では第１のスイッチャ１０８の入力はｂ側に接続され、第３のスイッチャ１１５の入力もｑ側に接続されるため、それぞれ接続された端子の入力はゼロとなる。つまり、第３のスイッチャ１１５の出力で、かつ加算器１１０の入力はゼロとなる。また、同様に第１のスイッチャ１０８の入力もゼロとなるため、第１のスイッチャ１０８の出力は加算器１１０の他方の入力である動き補償器１０９の出力そのものになる。つまり、画像バッファ１１１への入力は動き補償器１０９の出力だけとなる。尚、動き情報が存在しない、フレーム内符号化モードで符号化された箇所はＰ３のデータをそのまま流用する。Ｐ２の画像一枚が復元できたら、同様の処理により、Ｐ１の画像を復号する。
以上の一連の動作の繰り返しにより、簡易な逆方向復号が実現される。
【００２３】
以上のように、実施の形態１の映像データ復号再生装置によれば、所定の圧縮符号化の方式に従った圧縮画像データを復号した復号画像を蓄積する画像蓄積手段と、圧縮画像データの中から、テクスチャ符号化情報を除いた符号化パラメタを保存するパラメタ保存手段と、復号順序を逆転させる指示を受けた場合、符号化パラメタの動き情報から逆方向の動き補償処理を行うために必要な動き情報を生成する動き情報生成手段と、逆方向の動き情報を用い、画像蓄積手段に蓄積された復号画像から、逆方向の画像を動き補償予測する画像生成手段とを備えたので、逆方向再生時に必要な画像バッファを最小限に抑え、かつ、逆方向再生の処理負荷を極めて小さくすることができる。
【００２４】
特に、実施の形態１の映像データ復号再生装置では、パラメタ保存手段がテクスチャ符号化情報を除いた符号化パラメタを保存するため、パラメタ保存手段としてのバッファ量を大幅に削減することができる。即ち、テクスチャ符号化情報とは可変長復号器１０３から出力される符号化係数データ１０４に相当するものであり、この情報は入力データの９割以上を示す情報量を持つ。このため、このテクスチャ符号化情報を除いたデータを符号化パラメタとして保存するよう構成することにより、逆方向再生を実現するために必要な保存するデータ量を大幅に削減することができる。
【００２５】
実施の形態２．
実施の形態１では、簡易逆方向再生動作時に、第１のスイッチャ１０８を制御する符号化モード１１７は、圧縮符号化データ１０１に含まれていた符号化モードそのものを利用することとしたが、該当するマクロブロック（ＭＢ）のＤＣＴ係数データ量に応じて、フレーム内符号化モードに強制的に変更することも可能であり、このような例を実施の形態２として説明する。
【００２６】
図４は、実施の形態２における符号化パラメタバッファ１１３ａを示す構成図である。図示の符号化パラメタバッファ１１３ａでは、マクロブロックのＤＣＴ係数データ量２００に応じてフレーム内符号化モードとフレーム間符号化モードとを切り替えるスイッチャ１２１を備えている。尚、符号化パラメタバッファ１１３ａ内の構成は、実施の形態２の特徴部分のみを示している。
このように構成された符号化パラメタバッファ１１３ａにおいて、例えば、ＤＣＴ係数データ量２００がＤＣＴ係数データを除いた符号化パラメタ量に比して極めて大きい場合には、当該ＭＢでの動き補償予測の精度が悪いことを意味し、この場合には、スイッチャ１２１でフレーム内符号化モードを選択する。これにより第１のスイッチャ１０８は、符号化モードがフレーム内符号化モードであると認識して入力をｂ側に接続する。これにより当該ＭＢは動き補償のデータで上書きされず、画像バッファに蓄積されたデータがそのまま流用されることになる。
【００２７】
以上のように、実施の形態２の映像データ復号再生装置によれば、動き情報生成手段は、パラメタ保存手段に保存された符号化パラメタと、テクスチャ符号化情報の長さとの比較結果に基づいて動き補償予測を行うか否かを判断し、動き情報を生成するようにしたので、動き補償予測の精度が悪い場合はフレーム内符号化モードとして動作させることにより画質の劣化を低減させることができる。
【００２８】
実施の形態３．
実施の形態１では、逆方向再生モード時に、第１のスイッチャ１０８を制御する符号化モード１１７は、圧縮符号化データ１０１に含まれていた符号化モードそのものを利用することとしたが、該当するマクロブロック（ＭＢ）の動きベクトル情報の大きさ（長さ）に応じて、フレーム内符号化モードに強制的に変更することも可能であり、このような例を実施の形態３として説明する。
【００２９】
図５は、実施の形態３における符号化パラメタバッファ１１３ｂを示す構成図である。図示の符号化パラメタバッファ１１３ｂでは、マクロブロックの動きベクトル情報の大きさ２０１に応じてフレーム内符号化モードとフレーム間符号化モードとを切り替えるスイッチャ１２２を備えている。尚、符号化パラメタバッファ１１３ｂ内の構成は、実施の形態３の特徴部分のみを示している。
このように構成された符号化パラメタバッファ１１３ｂにおいて、例えば、動きベクトル情報の大きさ２０１がある閾値を超えている場合には、当該ＭＢでの動き補償予測の精度が悪いことを意味し、この場合には、スイッチャ１２２でフレーム内符号化モードを選択する。これにより第１のスイッチャ１０８は、符号化モードがフレーム内符号化モードであると認識して入力をｂ側に接続する。これにより当該ＭＢは動き補償のデータで上書きされず、画像バッファに蓄積されたデータがそのまま流用されることになる。
【００３０】
以上のように、実施の形態３の映像データ復号再生装置によれば、動き情報生成手段は、パラメタ保存手段に保存された符号化パラメタのうち、該当するマクロブロックの動き情報の長さに応じて動き補償予測を行うか否かを判断し、動き情報を生成するようにしたので、動き補償予測の精度が悪い場合はフレーム内符号化モードとして動作させることにより画質の劣化を低減させることができる。
【００３１】
尚、上記各実施の形態では、図２に示したように、圧縮符号化データが片方向予測の場合について説明したが、両方向予測の符号化データの場合に拡張可能であることはいうまでも無い。
【符号の説明】
【００３２】
１０１  圧縮符号化データ、１０２  入力データバッファ、１０３  可変長復号器（ＶＬＤ）、１０４  符号化係数データ、１０５  符号化パラメタ、１０５ａ  符号化モード、１０５ｂ  量子化パラメタ、１０６  逆量子化部、１０７  逆ＤＣＴ部、１０８  第１のスイッチャ、１０９  動き補償器、１１０  加算器、１１１  画像バッファ、１１２  画像出力、１１３，１１３ａ，１１３ｂ  符号化パラメタバッファ、１１４  第２のスイッチャ、１１５  第３のスイッチャ、１１６  復号動作モード、１１７  符号化モード。
【図１】
2011160196.tif 000003
【図２】
2011160196.tif 000004
【図３】
2011160196.tif 000005
【図４】
2011160196.tif 000006
【図５】
2011160196.tif 000007