(57)【要約】【課題】  インタレース走査信号が時間階層符号化された符号化信号を、品質低下を防止して的確に復号できるようにする。【解決手段】  エントロピー復号化部907は、ビットストリームの一部または全てを入力として受け付け、エントロピー復号化して映像情報、動き情報および符号化モードを得る。そして、復号した映像情報を逆量子化・逆直交変換部108へ、動き情報および符号化モードを逆MCTF-MbAFF部909に出力する。逆MCTF-MbAFF部909は、逆量子化・逆直交変換部108より出力される映像情報、エントロピー復号化部907より出力される動き情報及び符号化モードを入力として受け付ける。入力された情報をもとにインタレース走査信号を復号して復号化部903の外部に出力する。【選択図】      図１
2007088839.tif 000002
【特許請求の範囲】
【請求項１】
入力時間階層符号化信号に対して復号化を行い、高域ピクチャ、低域ピクチャ、及び符号化モード選定信号を得る復号化手段と、逆更新処理手段と逆予測処理手段とを備えた動き補償時間帯域合成手段であり、前記高域ピクチャと前記低域ピクチャとに対して、動き補償を伴った時間方向の帯域合成を行い再生映像信号を得る動き補償時間帯域合成手段と、を有する時間階層復号化装置であって、
前記復号化手段は、マクロブロックペアフレーム符号化とマクロブロックペアフィールド符号化とのいずれかの符号化モードを示す前記符号化モード選定信号を復号化すると共に、復号化対象となる１つのピクチャにおける垂直方向に隣接する２つのマクロブロックの組であるマクロブロックペア単位で前記入力時間階層符号化信号に対して復号化を行い、高域ピクチャと低域ピクチャとを得る復号化手段であり、
前記動き補償時間帯域合成手段は、出力する前記再生映像信号である復元インタレース走査信号を入力側へ帰還させる帰還ループを有し、
前記動き補償時間帯域合成手段の備える逆更新処理手段は、
前記符号化モード選定信号がマクロブロックペアフィールド符号化を示す場合に、前記復号化手段で得られた前記低域ピクチャの信号または前記帰還ループから供給される信号と、前記復号化手段で得られた前記高域ピクチャの信号とを用いて逆動き補償を伴った第１の逆更新処理を行い帯域合成映像信号の一部を生成し、前記第１の逆更新処理における逆動き補償は、マクロブロックペアフィールド符号化に対応した逆動き補償であり、
前記符号化モード選定信号がマクロブロックペアフレーム符号化を示す場合には、前記復号化手段で得られた前記低域ピクチャの信号または前記帰還ループから供給される信号を帯域合成映像信号の一部として得る第２の逆更新処理を行う逆更新処理手段であり、
前記動き補償時間帯域合成手段の備える逆予測処理手段は、
前記復号化手段で得られた前記高域ピクチャと前記逆更新処理手段で得られた前記帯域合成映像信号とを用いて、前記符号化モード選定信号が示すそれぞれの符号化モードに対応した動き補償を伴った逆予測処理を行い前記帯域合成映像信号の残りの部分を生成し、この生成した帯域合成映像信号と前記逆更新処理手段で得られた前記帯域合成映像信号とから前記再生映像信号である復元インタレース走査信号を生成する逆予測処理手段である、
ことを特徴とする時間階層復号化装置。
【請求項２】
入力時間階層符号化信号に対して復号化を行い、高域ピクチャ、低域ピクチャ、及び符号化モード選定信号を得る復号化ステップと、逆更新処理ステップ及び逆予測処理ステップを備える動き補償時間帯域合成ステップであり、前記高域ピクチャと前記低域ピクチャとに対して、動き補償を伴った時間方向の帯域合成を行い再生映像信号を得る動き補償時間帯域合成ステップと、を有する時間階層復号化方法であって、
前記復号化ステップは、マクロブロックペアフレーム符号化とマクロブロックペアフィールド符号化とのいずれかの符号化モードを示す前記符号化モード選定信号を復号化すると共に、復号化対象となる１つのピクチャにおける垂直方向に隣接する２つのマクロブロックの組であるマクロブロックペア単位で前記入力時間階層符号化信号に対して復号化を行い、高域ピクチャと低域ピクチャとを得る復号化ステップであり、
前記動き補償時間帯域合成ステップは、得られた前記再生映像信号である復元インタレース走査信号を再度処理対象とするための帰還ステップを有し、
前記動き補償時間帯域合成ステップの備える逆更新処理ステップは、
前記符号化モード選定信号がマクロブロックペアフィールド符号化を示す場合に、前記復号化ステップで得られた前記低域ピクチャの信号または前記帰還ステップによる前記再生映像信号と、前記復号化ステップで得られた前記高域ピクチャの信号とを用いて逆動き補償を伴った第１の逆更新処理を行い帯域合成映像信号の一部を生成し、前記第１の逆更新処理における逆動き補償は、マクロブロックペアフィールド符号化に対応した逆動き補償であり、
前記符号化モード選定信号がマクロブロックペアフレーム符号化を示す場合には、前記復号化ステップで得られた前記低域ピクチャの信号または前記帰還ステップによる前記再生映像信号を帯域合成映像信号の一部として得る第２の逆更新処理を行う逆更新処理ステップであり、
前記動き補償時間帯域合成ステップの備える逆予測処理ステップは、
前記復号化ステップで得られた前記高域ピクチャと前記逆更新処理ステップで得られた前記帯域合成映像信号とを用いて、前記符号化モード選定信号が示すそれぞれの符号化モードに対応した動き補償を伴った逆予測処理を行い前記帯域合成映像信号の残りの部分を生成し、この生成した帯域合成映像信号と前記逆更新処理ステップで得られた前記帯域合成映像信号とから前記再生映像信号である復元インタレース走査信号を生成する逆予測処理ステップである、
ことを特徴とする時間階層復号化方法。
【請求項３】
入力時間階層符号化信号に対して復号化を行い、高域ピクチャ、低域ピクチャ、及び符号化モード選定信号を得る復号化手段と、逆更新処理手段と逆予測処理手段とを備えた動き補償時間帯域合成手段であり、前記高域ピクチャと前記低域ピクチャとに対して、動き補償を伴った時間方向の帯域合成を行い再生映像信号を得る動き補償時間帯域合成手段と、してコンピュータを機能させるための時間階層復号化プログラムであって、
前記復号化手段は、マクロブロックペアフレーム符号化とマクロブロックペアフィールド符号化とのいずれかの符号化モードを示す前記符号化モード選定信号を復号化すると共に、復号化対象となる１つのピクチャにおける垂直方向に隣接する２つのマクロブロックの組であるマクロブロックペア単位で前記入力時間階層符号化信号に対して復号化を行い、高域ピクチャと低域ピクチャとを得る復号化手段としてコンピュータに実現され、
前記動き補償時間帯域合成手段は、出力する前記再生映像信号である復元インタレース走査信号を入力側へ帰還させる帰還ループを有する手段としてコンピュータに実現され、
前記動き補償時間帯域合成手段の備える逆更新処理手段は、
前記符号化モード選定信号がマクロブロックペアフィールド符号化を示す場合に、前記復号化手段で得られた前記低域ピクチャの信号または前記帰還ループから供給される信号と、前記復号化手段で得られた前記高域ピクチャの信号とを用いて逆動き補償を伴った第１の逆更新処理を行い帯域合成映像信号の一部を生成し、前記第１の逆更新処理における逆動き補償は、マクロブロックペアフィールド符号化に対応した逆動き補償であり、
前記符号化モード選定信号がマクロブロックペアフレーム符号化を示す場合には、前記復号化手段で得られた前記低域ピクチャの信号または前記帰還ループから供給される信号を帯域合成映像信号の一部として得る第２の逆更新処理を行う逆更新処理手段としてコンピュータに実現され、
前記動き補償時間帯域合成手段の備える逆予測処理手段は、
前記復号化手段で得られた前記高域ピクチャと前記逆更新処理手段で得られた前記帯域合成映像信号とを用いて、前記符号化モード選定信号が示すそれぞれの符号化モードに対応した動き補償を伴った逆予測処理を行い前記帯域合成映像信号の残りの部分を生成し、この生成した帯域合成映像信号と前記逆更新処理手段で得られた前記帯域合成映像信号とから前記再生映像信号である復元インタレース走査信号を生成する逆予測処理手段としてコンピュータに実現される、
ことを特徴とする時間階層復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号の復号化、特に時間階層復号化（時間帯域分割階層復号化）に関する。
【背景技術】
【０００２】
従来、映像符号化において空間解像度、時間解像度およびSNRそれぞれのスケーラビリティを実現する符号化方式が数多く提案されており、さまざまな分野でこれらの実用化がなされている。なかでも、近年、時間解像度のスケーラビリティを高い符号化効率で実現する方法として特許文献１が提案され、注目を集めている。
【０００３】
特許文献1では、「動き補償時間ウェーブレット変換(以下MCTF，Motion Compensation Temporal Filteringと表記)」が提案されており、これは、例えば従来のH.264/AVCのようなME(Motion Estimation)とMC(Motion Compensation)を行った後に時間方向にリフティング構成のウェーブレット変換を用いて帯域分割する方法である。
【０００４】
図９に従来のMCTFを用いた符号化および復号化を実現するための構成例を示す。符号化部101にはオリジナルの映像信号が入力され、符号化部101で生成されたビットストリームが通信回線またはメディアなど102を介して復号化部103に伝送される。復号化部103では供給されたビットストリームを受信してデコードし、デコード映像信号を出力する。
【０００５】
符号化部101は、MCTF部104、直交変換・量子化部105およびエントロピー符号化部106で構成される。
【０００６】
MCTF部104は、オリジナルの映像信号を入力として受け付ける機能を有する。入力された信号に対して動き補償を伴った時間方向の帯域分割を行う。MCTF部104内部での動作の詳細については後述する。MCTFの結果得られる映像情報を直交変換・量子化部105へ、動き情報をエントロピー符号化部106へと出力する機能を有する。
【０００７】
直交変換・量子化部105は、映像情報を入力として受け付け、直交変換して量子化し、エントロピー符号化部106へ出力する機能を有する。直交変換はDCTやアダマール変換、ウェーブレット変換などが代表例である。
【０００８】
エントロピー符号化部106は、量子化された映像情報と動き情報を入力として受け付け、それぞれをエントロピー符号化する機能を有する。また、エントロピー符号化によって生成されたビットストリームを符号化部101の外部へ出力する機能を有する。
【０００９】
復号化部103は、エントロピー復号化部107、逆直交変換・逆量子化部108および逆MCTF部109から構成される。
【００１０】
エントロピー復号化部107は、ビットストリームのうち一部またはすべてを入力として受け付け、復号して映像情報を逆量子化・逆直交変換部108、動き情報を逆MCTF部109へ出力する機能を有する。
【００１１】
逆量子化・逆直交変換部108は、復号された映像情報を入力として受け付け、逆量子化、逆直交変換を行って逆MCTF部109へ出力する機能を有する。
【００１２】
逆MCTF部109は、逆直交変換された映像情報信号、復号された動き情報を入力として受け付ける機能を有する。入力された信号を用いて、動き補償を伴った時間方向の帯域合成を行い映像信号を復元し、復号化部103の外部へ出力する機能を有する。
【００１３】
図９に示した符号化部101の構成例を用いて映像信号を符号化する手順を図１０に示す。
【００１４】
オリジナルの映像信号をMCTF部104において、動き補償を伴った時間方向の帯域分割を行うS201。手順の詳細については後述する。この結果得られた映像情報を直交変換・量子化部105に送る。動き情報は、エントロピー符号化部106に送られる。
【００１５】
MCTF部104において時間方向に帯域分割した映像情報信号を直交変換・量子化部105で直交変換、量子化するS202。直交変換、量子化した信号をエントロピー符号化部106へ送る。
【００１６】
MCTF部104で得た動き情報と直交変換・量子化部105から出力される映像情報をエントロピー符号化部106においてエントロピー符号化し、ビットストリームを生成するS203。
【００１７】
図９に示した復号化部103の構成例を用いてビットストリームを復号化する手順を図１１に示す。
【００１８】
入力されたビットストリームの一部またはすべてをエントロピー復号化部107において復号するS301。復号した結果得られる映像情報を逆量子化・逆直交変換部108へ送り、復号した動き情報を逆MCTF部109に送る。
【００１９】
復号した映像情報を逆量子化・逆直交変換部108を用いて逆量子化、逆直交変換するS302。この結果得られる信号を逆MCTF部109へと送る。
【００２０】
逆直交変換された映像情報および復号された動き情報を用いて、逆MCTF部109において動き補償を伴った時間方向の帯域合成を行い映像信号を復号するS303。
【００２１】
MCTF部104の動作例の詳細について説明する。図１２にMCTFの一例として5/3リフティング構成のものを示す。また、MCTFの手順の流れの例を図１３に示す。ここで、オリジナルの映像信号401を例えば8ピクチャごとの単位(以下GOP，Group of Pictureと表記)で処理を行うS501。図１２のS(n)ピクチャを処理対象ピクチャとした場合、S(n-1)ピクチャとS(n+1)ピクチャをS(n)ピクチャの位相に合わせるようにそれぞれME/MCを行うS502。そして、 S(n-1)ピクチャとS(n+1)ピクチャをそれぞれMCしたものとS(n)ピクチャにフィルタ処理するS503。S502およびS503の処理をここでは予測処理（プレディクション処理）と呼ぶ。
【００２２】
予測処理の結果得られるピクチャがH(高周波数成分に分割された)ピクチャ402である。この処理を連続する他の偶数ピクチャにも同様の処理を行うS504。
【００２３】
次に、S(n-1)ピクチャを処理対象ピクチャとした場合、H1(n-2)ピクチャとH1(n)ピクチャをS(n-1)ピクチャの位相に合わせるように、MEで求めたベクトルを逆方向にたどってMCして、すなわち、逆MCしてS505、逆MCしたH1(n-2)ピクチャとH1(n)ピクチャ、およびS(n-1)ピクチャにフィルタ処理をするS506。この処理をここでは更新処理（アップデート処理）と呼ぶ。更新処理の結果得られるLピクチャ403は時間方向の低域成分である。
【００２４】
なお、同様の処理を他の奇数ピクチャに対しても行うS507。MCTFを繰り返し行いS508、時間方向に帯域分割して低域信号を取り出すことで、時間解像度の低い映像信号を生成できる。
【００２５】
ここで、MCTFを繰り返して実施する場合、図１２からわかるように、2回目のMCTFは予測処理対象ピクチャが偶数ピクチャから奇数ピクチャへと変わり、更新処理対象ピクチャが奇数ピクチャから偶数ピクチャとなり、それ以降もMCTFの回数を重ねるたびに対象ピクチャが変わることに注意されたい。実際に符号化するピクチャは、例えば図１４に示すようにLピクチャ1枚と残りはHピクチャとなる601。デコード側で高レートの映像信号を再生する場合には，MCTFの逆の手順で逆更新処理および逆予測処理を繰り返し、低域信号に高域信号を合成すればよい。
【００２６】
さらに、特許文献1には、時間方向のみならず、空間方向にも例えばウェーブレットやDCTを用いてスケーラビリティを実現する方法が示されている。このことにより、デコード側では、ネットワークの状況やデコーダ、ディスプレイなどの性能にあわせて任意の空間解像度および時間解像度を選択して受信することが可能となっている。
【００２７】
一方、スケーラブル符号化とは無関係に、インタレース走査信号を符号化する方法も従来に検討がなされている。映像符号化のインタレース走査信号への対応はテレビ放送方式などへの対応として必要不可欠である。インタレース走査信号の符号化方法の代表例としてH.264/AVCにおけるPicture AFF(Picture Adaptive Field Frame)及びMb AFF(Macro block Adaptive Field Frame)などがある。
【００２８】
図１５を用いてPicture AFFおよびMb AFFの説明をする。図１５(a)に示すようにインタレース走査信号の第1フィールドと第2フィールドを交互に配置して1枚のピクチャを構成して符号化する方法をピクチャ単位フレーム符号化と呼ぶ。また、図１５(b)のように第1フィールドと第2フィールドを別々に符号化する方法をピクチャ単位フィールド符号化と呼ぶ。H.264/AVCでは、ピクチャ単位フレーム符号化とピクチャ単位フィールド符号化のいずれかを単独で使用してもよいし、符号化効率が向上するように2つの方法をピクチャ単位で適応的に切り替えてもよい。なお、後者の方法をPicture AFFと呼ぶ。
【００２９】
さらに、H.264/AVCでは、フレーム符号化とフィールド符号化を2つのマクロブロック単位で切り替えることも認めている。この方法をMb AFFと呼ぶ。図１５(c)に示すように、垂直方向に隣接する2つのマクロブロック(マクロブロックペア)をひとつの処理単位とする。
【００３０】
この場合のマクロブロックペアフレーム符号化およびマクロブロックペアフィールド符号化の様子を示したものが図１５(d)、(e)である。ピクチャ単位の符号化と同様に、マクロブロックペアフレーム符号化ではマクロブロックペア内の信号が第1フィールドと第2フィールドが交互に配置されている。また、マクロブロックペアフィールド符号化では2つのフィールドを分けて配置してマクロブロックペアを構成している。なお、符号化の取り扱いはマクロブロックペア単位で行われるが、ME/MCは上下のマクロブロックで独立に行ってもよい。
【特許文献１】特表2004-524730号公報
【発明の開示】
【発明が解決しようとする課題】
【００３１】
特許文献1は、動き補償を伴った時間方向の帯域分割であるMCTFを用いることで時間方向のスケーラブル符号化を高効率で実現している。また、高ビットレートにおいては時間方向のスケーラブル機能を利用しない場合にも高い符号化効率が得られる優れた符号化方式である。しかしながら、特許文献1においてはインタレース走査信号を対象とした検討がなされていない。インタレース走査信号を高効率で符号化するPicture AFFやMb AFFを単純にMCTFに適用することが考えられる。本発明では、より映像の局所的な性質に適切に符号化モードを切り替えることが可能なMb AFFに着目し、Mb AFFを単純にMCTFに適用した場合に生じる問題点を解決する。
【００３２】
符号化モードにマクロブロックペアフレーム符号化を用いた場合、動きの多いピクチャでは、図１６に示すように、トップフィールドとボトムフィールドの1/60秒の時間差によって映像の輪郭部分がずれるようなペアリング妨害が生じてしまう。よって、動きの多い領域では、マクロブロックペアフィールド符号化を採用してこの影響を排除することが望ましい。一方、動きの少ない領域では、ペアリング妨害が少ないため、マクロブロックペアフレーム符号化したほうが空間垂直方向の相関を利用して符号化できる。
【００３３】
このような考えのもとにMb AFFはマクロブロックペア単位で符号化モードを切り替えて符号化効率の向上を実現している。しかしながら、符号化モードの判定が難しい性質の映像を扱う場合や、計算コスト削減のための簡略化などの理由から符号化モード判定精度が低くなってしまっている場合には、ペアリング妨害を含んでいてもマクロブロックペアフレーム符号化を選択してしまうことが生じる。
【００３４】
このような現象が起こっている領域のMC精度は低く、その結果、Hピクチャに時間方向の高周波数成分として残ることが多い。従来のH.264/AVCなどにおけるペアリング妨害による影響はPピクチャやBピクチャ(厳密には異なるがMCTFにおけるHピクチャに相当)内にとどまっていたが、MCTFでは、Lピクチャを生成するためにHピクチャを用いて更新処理を行うため、Lピクチャにもペアリング妨害の影響が及んでしまう。この結果、時間解像度の低い信号(Lピクチャ)のみを取り出して再生しようとすると、復号映像の品質が低くなってしまう。さらに、Lピクチャが劣化することによって2階分解以降のMC精度が悪くなり、符号化効率の低下を招いてしまう。
【００３５】
よって、本発明では、Mb AFFにおける前述の問題を解決することで、MCTFのインタレース走査信号への対応を実現する。
【課題を解決するための手段】
【００３６】
そこで、上記課題を解決するために本発明は、以下の装置、方法、及びプログラムを提供するものである。
（１）  入力時間階層符号化信号に対して復号化を行い、高域ピクチャ、低域ピクチャ、及び符号化モード選定信号を得る復号化手段と、逆更新処理手段と逆予測処理手段とを備えた動き補償時間帯域合成手段であり、前記高域ピクチャと前記低域ピクチャとに対して、動き補償を伴った時間方向の帯域合成を行い再生映像信号を得る動き補償時間帯域合成手段と、を有する時間階層復号化装置であって、
前記復号化手段は、マクロブロックペアフレーム符号化とマクロブロックペアフィールド符号化とのいずれかの符号化モードを示す前記符号化モード選定信号を復号化すると共に、復号化対象となる１つのピクチャにおける垂直方向に隣接する２つのマクロブロックの組であるマクロブロックペア単位で前記入力時間階層符号化信号に対して復号化を行い、高域ピクチャと低域ピクチャとを得る復号化手段であり、
前記動き補償時間帯域合成手段は、出力する前記再生映像信号である復元インタレース走査信号を入力側へ帰還させる帰還ループを有し、
前記動き補償時間帯域合成手段の備える逆更新処理手段は、
前記符号化モード選定信号がマクロブロックペアフィールド符号化を示す場合に、前記復号化手段で得られた前記低域ピクチャの信号または前記帰還ループから供給される信号と、前記復号化手段で得られた前記高域ピクチャの信号とを用いて逆動き補償を伴った第１の逆更新処理を行い帯域合成映像信号の一部を生成し、前記第１の逆更新処理における逆動き補償は、マクロブロックペアフィールド符号化に対応した逆動き補償であり、
前記符号化モード選定信号がマクロブロックペアフレーム符号化を示す場合には、前記復号化手段で得られた前記低域ピクチャの信号または前記帰還ループから供給される信号を帯域合成映像信号の一部として得る第２の逆更新処理を行う逆更新処理手段であり、
前記動き補償時間帯域合成手段の備える逆予測処理手段は、
前記復号化手段で得られた前記高域ピクチャと前記逆更新処理手段で得られた前記帯域合成映像信号とを用いて、前記符号化モード選定信号が示すそれぞれの符号化モードに対応した動き補償を伴った逆予測処理を行い前記帯域合成映像信号の残りの部分を生成し、この生成した帯域合成映像信号と前記逆更新処理手段で得られた前記帯域合成映像信号とから前記再生映像信号である復元インタレース走査信号を生成する逆予測処理手段である、
ことを特徴とする時間階層復号化装置。
（２）  入力時間階層符号化信号に対して復号化を行い、高域ピクチャ、低域ピクチャ、及び符号化モード選定信号を得る復号化ステップと、逆更新処理ステップ及び逆予測処理ステップを備える動き補償時間帯域合成ステップであり、前記高域ピクチャと前記低域ピクチャとに対して、動き補償を伴った時間方向の帯域合成を行い再生映像信号を得る動き補償時間帯域合成ステップと、を有する時間階層復号化方法であって、
前記復号化ステップは、マクロブロックペアフレーム符号化とマクロブロックペアフィールド符号化とのいずれかの符号化モードを示す前記符号化モード選定信号を復号化すると共に、復号化対象となる１つのピクチャにおける垂直方向に隣接する２つのマクロブロックの組であるマクロブロックペア単位で前記入力時間階層符号化信号に対して復号化を行い、高域ピクチャと低域ピクチャとを得る復号化ステップであり、
前記動き補償時間帯域合成ステップは、得られた前記再生映像信号である復元インタレース走査信号を再度処理対象とするための帰還ステップを有し、
前記動き補償時間帯域合成ステップの備える逆更新処理ステップは、
前記符号化モード選定信号がマクロブロックペアフィールド符号化を示す場合に、前記復号化ステップで得られた前記低域ピクチャの信号または前記帰還ステップによる前記再生映像信号と、前記復号化ステップで得られた前記高域ピクチャの信号とを用いて逆動き補償を伴った第１の逆更新処理を行い帯域合成映像信号の一部を生成し、前記第１の逆更新処理における逆動き補償は、マクロブロックペアフィールド符号化に対応した逆動き補償であり、
前記符号化モード選定信号がマクロブロックペアフレーム符号化を示す場合には、前記復号化ステップで得られた前記低域ピクチャの信号または前記帰還ステップによる前記再生映像信号を帯域合成映像信号の一部として得る第２の逆更新処理を行う逆更新処理ステップであり、
前記動き補償時間帯域合成ステップの備える逆予測処理ステップは、
前記復号化ステップで得られた前記高域ピクチャと前記逆更新処理ステップで得られた前記帯域合成映像信号とを用いて、前記符号化モード選定信号が示すそれぞれの符号化モードに対応した動き補償を伴った逆予測処理を行い前記帯域合成映像信号の残りの部分を生成し、この生成した帯域合成映像信号と前記逆更新処理ステップで得られた前記帯域合成映像信号とから前記再生映像信号である復元インタレース走査信号を生成する逆予測処理ステップである、
ことを特徴とする時間階層復号化方法。
（３）  入力時間階層符号化信号に対して復号化を行い、高域ピクチャ、低域ピクチャ、及び符号化モード選定信号を得る復号化手段と、逆更新処理手段と逆予測処理手段とを備えた動き補償時間帯域合成手段であり、前記高域ピクチャと前記低域ピクチャとに対して、動き補償を伴った時間方向の帯域合成を行い再生映像信号を得る動き補償時間帯域合成手段と、してコンピュータを機能させるための時間階層復号化プログラムであって、
前記復号化手段は、マクロブロックペアフレーム符号化とマクロブロックペアフィールド符号化とのいずれかの符号化モードを示す前記符号化モード選定信号を復号化すると共に、復号化対象となる１つのピクチャにおける垂直方向に隣接する２つのマクロブロックの組であるマクロブロックペア単位で前記入力時間階層符号化信号に対して復号化を行い、高域ピクチャと低域ピクチャとを得る復号化手段としてコンピュータに実現され、
前記動き補償時間帯域合成手段は、出力する前記再生映像信号である復元インタレース走査信号を入力側へ帰還させる帰還ループを有する手段としてコンピュータに実現され、
前記動き補償時間帯域合成手段の備える逆更新処理手段は、
前記符号化モード選定信号がマクロブロックペアフィールド符号化を示す場合に、前記復号化手段で得られた前記低域ピクチャの信号または前記帰還ループから供給される信号と、前記復号化手段で得られた前記高域ピクチャの信号とを用いて逆動き補償を伴った第１の逆更新処理を行い帯域合成映像信号の一部を生成し、前記第１の逆更新処理における逆動き補償は、マクロブロックペアフィールド符号化に対応した逆動き補償であり、
前記符号化モード選定信号がマクロブロックペアフレーム符号化を示す場合には、前記復号化手段で得られた前記低域ピクチャの信号または前記帰還ループから供給される信号を帯域合成映像信号の一部として得る第２の逆更新処理を行う逆更新処理手段としてコンピュータに実現され、
前記動き補償時間帯域合成手段の備える逆予測処理手段は、
前記復号化手段で得られた前記高域ピクチャと前記逆更新処理手段で得られた前記帯域合成映像信号とを用いて、前記符号化モード選定信号が示すそれぞれの符号化モードに対応した動き補償を伴った逆予測処理を行い前記帯域合成映像信号の残りの部分を生成し、この生成した帯域合成映像信号と前記逆更新処理手段で得られた前記帯域合成映像信号とから前記再生映像信号である復元インタレース走査信号を生成する逆予測処理手段としてコンピュータに実現される、
ことを特徴とする時間階層復号化プログラム。
【発明の効果】
【００３７】
本発明によれば、インタレース走査信号が時間階層符号化された符号化信号を、品質低下を防止して的確に復号できる。
【発明を実施するための最良の形態】
【００３８】
以下、図面と共に本発明の実施例を説明する。
［実施例］
本発明では、MCTFにMb AFFを適用することによって生じる前述の問題を解決するために、所定のマクロブロックから構成されるマクロブロックペアの符号化モードをもとに更新処理（アップデート処理）を適応的に行うように制御し、ペアリング妨害をHピクチャ内にとどめてLピクチャへ伝播させないことを実現する。
【００３９】
ここで、従来技術におけるマクロブロックとは、一般的に直交変換の最小単位であるブロックを複数もつものを指す。これに対して、本発明における所定のマクロブロックは、直交変換の最小単位であるブロックをひとつまたは複数もつものを指す。すなわち、所定のマクロブロックから構成されるマクロブロックペア(以降、所定のマクロブロックペアと表記)では、直交変換の最小単位であるブロックのペアであってもよい。
【００４０】
また、所定のマクロブロックペアに対応するマクロブロックペアフレーム符号化とマクロブロックペアフィールド符号化をそれぞれ所定のマクロブロックペアフレーム符号化、所定のマクロブロックペアフィールド符号化と表記する。
【００４１】
図１に本発明の一実施例を適用した時間階層符号化・復号化装置の構成例を示す。符号化部901にはインタレース走査信号が入力され、符号化部901で生成されたビットストリームが通信回線またはメディアなど102を介して復号化部903に伝送される。復号化部903では供給されたビットストリームを受信してデコードし、デコード映像信号(インタレース走査信号)を出力する。
【００４２】
符号化部901は、MCTF-MbAFF部904、直交変換・量子化部105およびエントロピー符号化部906で構成される。直交変換・量子化部105は、従来と同等のもので実現できるため、図９の従来例と同じ番号で示している。
【００４３】
MCTF-MbAFF部904は、入力としてインタレース走査信号を受け付ける機能を有する。また、インタレース走査信号に対応したMCTFを行う(MCTF-MbAFF)機能を有する。その動作例については後述する。MCTF-MbAFF部904でインタレース走査信号を処理した結果、映像情報、動き情報および符号化モードを得る。そして、映像情報を直交変換・量子化部105へ、動き情報および符号化モード（マクロブロックペアフレーム符号化とマクロブロックペアフィールド符号化とのいずれかの符号化モード）をエントロピー符号化部906へ出力する機能を有する。
【００４４】
エントロピー符号化部906は、直交変換・量子化部105より出力される映像情報、MCTF-MbAFF部904より出力される動き情報および符号化モードを入力として受け付ける機能を有する。入力されたそれぞれの情報をエントロピー符号化（符号化モードに応じてマクロブロックペア単位で符号化を行う）してビットストリームを生成し、符号化器901の外部へ出力する機能を有する。
【００４５】
復号化部903は、エントロピー復号化部907、逆量子化・逆直交変換部108および逆MCTF-MbAFF部909で構成される。逆量子化・逆直交変換部108は従来と同等のもので実現できるため、図９の従来例と同じ番号で示している。
【００４６】
エントロピー復号化部907は、ビットストリームの一部またはすべてを入力として受け付け、エントロピー復号化（マクロブロックペア単位で復号化）して映像情報、動き情報および符号化モードを得る機能を有する。復号した映像情報を逆量子化・逆直交変換部108へ、動き情報および符号化モードを逆MCTF-MbAFF部909に出力する機能を有する。
【００４７】
逆MCTF-MbAFF部909は、逆量子化・逆直交変換部108より出力される映像情報、エントロピー復号化部907より出力される動き情報および符号化モードを入力として受け付ける機能を有する。入力された情報をもとにインタレース走査信号を復号して復号化部903の外部に出力する機能を有する。逆MCTF-MbAFF部909の動作の例については後述する。
【００４８】
図１の本発明の一実施例を適用した構成例を用いてインタレース走査信号を符号化する手順を図２に示す。
【００４９】
オリジナルのインタレース走査信号をMCTF-MbAFF部904においてMCTF-MbAFFを行うS1001。MCTF-MbAFFの詳細な手順の例については後述する。この結果得られた映像情報を直交変換・量子化部105へ送り、動き情報および符号化モードをエントロピー符号化部906へ送る。
【００５０】
MCTF-MbAFFの結果得られた映像情報を直交変換・量子化部105において直交変換・量子化を行うS1002。直交変換、量子化した信号をエントロピー符号化部906に送る。
【００５１】
MCTF-MbAFF部904で得た動き情報および符号化モード、直交変換・量子化部105から出力される映像情報をエントロピー符号化部906においてエントロピー符号化し、ビットストリームを生成するS1003。
【００５２】
図１に示した復号化部903の構成例を用いてビットストリームを復号化する手順を図３に示す。
【００５３】
入力されたビットストリームの一部またはすべてをエントロピー復号化部907において復号するS1101。復号した結果得られる映像情報を逆量子化・逆直交変換部108へ送り、復号した動き情報および符号化モードを逆MCTF-MbAFF部909に送る。
【００５４】
復号した映像情報を逆量子化・逆直交変換部108を用いて逆量子化、逆直交変換するS1102。この結果得られる信号を逆MCTF-MbAFF部909へと送る。
【００５５】
逆直交変換された映像情報、復号された動き情報および符号化モードを用いて、逆MCTF-MbAFF部909において逆MCTF-MbAFFを行いインタレース走査信号を復号するS1103。逆MCTF-MbAFFの詳細な手順の例については後述する。
【００５６】
図１に示したMCTF-MbAFF部904の構成例を示したものが図４ある。MCTF-MbAFF部904は、入力切り替え部1202、適応的予測処理部（適応的プレディクション処理部）1203、適応的更新処理部1204、ピクチャ並び替え部1205およびピクチャ/ブロック管理部1206で構成される。
【００５７】
入力切り替え部1202は、オリジナルのインタレース走査信号、適応的更新処理部1204より出力されるLピクチャ、ピクチャ/ブロック管理部1206より出力される制御情報を入力として受け付ける機能を有する。MCTF-MbAFFにおける1階目の時間方向帯域分割では、オリジナルのインタレース走査信号を、2階目以降の処理では適応的更新処理部1204より出力されるLピクチャを、適応的予測処理部1203および適応的更新処理部1204へ出力する機能を有する。現在のMCTF-MbAFF部904の処理が1階目であるか、2階目以降であるかは、ピクチャ/ブロック管理部1206より出力される制御情報を用いて判断する。
【００５８】
適応的予測処理部1203は、入力切り替え部1202より出力される信号およびピクチャ/ブロック管理部1206より出力される制御情報を入力として受け付ける機能を有する。従来の予測処理の機能であるME/MCおよびフィルタリングに加えてインタレース走査信号を所定のマクロブロックペアフレーム符号化するか所定のマクロブロックペアフィールド符号化するかのいずれかを選択するためのモード判定の機能を有する。
【００５９】
これらの機能を有するために、適応的予測処理部1203は、ME/MC部1207およびフィルタリング/モード判定部1208から構成される。また、適応的予測処理の結果得られるHピクチャを適応的更新処理部1204およびピクチャ並び替え部1204へ出力し、動き情報を適応的更新処理部1204およびMCTF-MbAFF部904の外部へ出力し、符号化モードを適応的更新処理部1204およびMCTF-MbAFF部904の外部へ出力する機能を有する。
【００６０】
ME/MC部1207は、入力切り替え部1202より出力される信号およびピクチャ/ブロック管理部1206より出力される制御情報を入力として受け付ける機能を有する。また、Mb AFFの所定のマクロブロックペアフレーム符号化および所定のマクロブロックペアフィールド符号化の両方に対応するME/MCを行う機能を有する。ME/MCした結果の信号をフィルタリング/モード判定部1208へ出力し、動き情報を適応的更新処理部1204およびMCTF-MbAFF部904の外部へ出力する機能を有する。
【００６１】
フィルタリング/モード判定部1208は、ME/MC部1207より出力される信号およびピクチャ/ブロック管理部1206より出力される制御情報を入力として受け付ける機能を有する。まず、ME/MCした信号にフィルタ処理をし、次に、何らかの判定基準を用いて所定のマクロブロックペアフレーム符号化するか所定のマクロブロックペアフィールド符号化するかいずれかの判定を行う。判定基準の一例としては、所定のマクロブロックペアフレーム符号化および所定のマクロブロックフィールド符号化それぞれに対応するME/MCをした信号にフィルタ処理をして、2つの結果からエントロピーが小さくなることが予想できる(残差の少ない)方を採用する方法があげられる。
【００６２】
また、フィルタリング/モード判定部1208は、モード判定の結果選択された信号を適応的更新処理部1204およびピクチャ並び替え部1205へ出力し、いずれの符号化モードを選択したかの情報を適応的更新処理部1204およびMCTF-MbAFF部904の外部へ出力する機能を有する。
【００６３】
適応的更新処理部1204は、適応的予測処理部1203より出力されるHピクチャ、動き情報、符号化モード、入力切り替え部1202より出力される信号を入力として受け付ける機能を有する。適応的更新部1204は、入力される符号化モードをもとに所定のマクロブロックペア単位で切り替えを伴った更新処理を実現するために、更新用切り替え部1209および更新処理部1210で構成される。また、適応的更新処理した信号を入力切り替え部1202およびピクチャ並び替え部1205へ出力する機能を有する。
【００６４】
更新用切り替え部1209は、適応的予測処理部1203より出力されるHピクチャおよび符号化モードを入力として受け付ける機能を有する。また、入力された符号化モードの状態に応じてHピクチャを更新処理部1210に出力するか否かの動作を行う機能を有する。例えば、符号化モードが所定のマクロブロックペアフレーム符号化モードの場合にHピクチャを更新処理部1210に出力しないようにする。それ以外の場合にはHピクチャを更新処理部1210に出力する。（1つのLピクチャ内で更新処理された部分とされない部分が混在する。）
更新処理部1210は、入力切り替え部1202から出力されるオリジナルの信号またはLピクチャ、更新用切り替え部1209から出力されるHピクチャ、ピクチャ/ブロック管理部1206から出力される制御情報、適応的予測処理部1203から出力される動き情報および符号化モードを入力として受け付ける機能を有する。また、Hピクチャを更新対象のオリジナルの信号またはLピクチャの位相に合わせるように逆MCして、その結果の信号とLピクチャにフィルタ処理を行う(更新処理する)機能を有する。
【００６５】
ここで、本実施例の更新処理が従来のものと異なる点は、符号化モードを考慮して逆MCを実施する（即ち、マクロブロックペアフィールド符号化モードにおいてマクロブロックペアフィールド符号化に対応した逆動き補償を行う）ことである。本実施例におけるMb AFFでは、所定のマクロブロックペア単位で符号化モードを切り替えることが可能であるため、例えば、図１２のS(n-1)のピクチャが更新処理対象であった場合、H1(n)とH1(n-2)の対象の所定のマクロブロックの符号化モードが、それぞれ所定のマクロブロックフレーム符号化または所定のマクロブロックペアフィールド符号化のいずれかを取り得る。異なる符号化モードの所定のマクロブロック同士で更新処理を行った場合、所定のマクロブロック内における信号の空間位置が異なるサンプル点(画素)に時間的なフィルタが施されてしまうことになる。従って、対象となるS(n-1)、H1(n)およびH1(n-2)の3つの所定のマクロブロック内における空間位置を合わせるように考慮して逆MCを行う(以下、符号化モードを考慮した逆MCと呼ぶ)。
【００６６】
例えば、インタレース走査の構成、所定のマクロブロックペアフレーム符号化の構成、所定のマクロブロックペアフィールド符号化の構成のいずれかに統一するように、メモリからサンプル点(画素)を呼び出して逆MCを行う。また、更新処理部1210は更新処理した結果得られるLピクチャを入力切り替え部1202およびピクチャ並び替え部1205へ出力する機能を有する。
【００６７】
ピクチャ並び替え部1205は適応的予測処理部1203から出力されるHピクチャ、適応的更新処理部1204から出力されるLピクチャおよびピクチャ/ブロック管理部1206から出力される制御情報を入力として受け付ける機能を有する。ピクチャ並び替え部1205では、MCTF-MbAFFの終了したピクチャを所望の順序に並び替える機能を有し、その結果をMCTF-MbAFF部904の外部へと出力する機能を有する。
【００６８】
ピクチャ/ブロック管理部1206は、MCTF-MbAFF部904に入力されるインタレース走査信号およびMCTF-MbAFF部904内の各処理部の信号をピクチャ単位、またブロック単位で把握し、各処理部での処理に必要な信号の位置などの制御情報を出力する機能を有する。
【００６９】
図４に示した構成を用いてインタレース走査信号をMCTF-MbAFFする手順を図５に示す。MCTF-MbAFFは、1GOP単位で行っても複数GOPにまたがって行っても良いS1301。
【００７０】
まず、適応的予測処理の手順について説明する。適応的予測処理部1203のME/MC部1207を用いて、適応的予測処理対象ピクチャ(例えば偶数番目のピクチャ)の時間的に前後するピクチャ(例えば奇数番目のピクチャ)を処理対象ピクチャの位相に合わせるようにME/MCするS1302。ここで、後段の符号化モード判定を行うために、所定のマクロブロックペアフレーム符号化および所定のマクロブロックペアフィールド符号化の両方のME/MCを行う。ME/MCした信号をフィルタリング/モード判定部1208へ送り、動き情報を適応的予測処理部1203の外部へ出力する。
【００７１】
2つの符号化モードのME/MCしたそれぞれの信号に対してフィルタリング/モード判定部1208でフィルタ処理を行うS1303。そして、フィルタ処理の結果、残差のエントロピーの小さい方の符号化モードの信号を所定のマクロブロックペアごとに選択して、符号化モードの情報とともに適応的予測処理部1203の外部へ出力するS1304。同様に適応的予測処理を他の適応的予測処理対象ピクチャ(例えば偶数番目のピクチャ)にも行うS1305。
【００７２】
次に、適応的更新処理の手順を示す。ここで、適応的更新処理の対象を例えば奇数番目のピクチャとする。更新用切り替え部1209において、適応的予測処理結果から得られる符号化モードを読み取るS1306。符号化モードが所定のマクロブロックペアフィールド符号化の場合、更新用切り替え部1209を導通させて、Hピクチャ(例えば偶数ピクチャ)を更新処理部1210に送り、前述の符号化モードを考慮した逆MC（マクロブロックペアフィールド符号化に対応した逆動き補償）を用いて更新処理を行うS1307。
【００７３】
一方、符号化モードが所定のマクロブロックペアフレーム符号化の場合、更新用切り替え部1205を切断状態(結果として更新処理をスキップすることになる)にする。このことにより、所定のマクロブロックペアフレーム符号化におけるペアリング妨害のLピクチャへの伝播を抑制することができる。
【００７４】
ここで、所定のマクロブロックペアフレーム符号化が選ばれているときは動きが少ない場合が多く、従って、更新処理(時間方向低域通過型フィルタに相当)を施さなくても問題とならない場合が多い。このことから、ペアリング妨害が起こるような例外的な場合にのみ更新処理を抑制する効果が現れ、それ以外の場合に信号を大きく劣化されるような振る舞いはしない。なお、デコード側では符号化モードのみの情報で更新用切り替え部1209の状態がわかるため、切り替えフラグ等を別途用意して符号化する必要がない。
【００７５】
同様に適応的更新処理を他の処理対象ピクチャ(例えば奇数番目のピクチャ)にも行うS1308。
【００７６】
MCTF-MbAFFを繰り返して実施する場合S1309、従来のMCTFと同様に2回目のMCTF-MbAFFは適応的予測処理対象ピクチャが偶数ピクチャから奇数ピクチャへと変わり、更新処理対象ピクチャが奇数ピクチャから偶数ピクチャとなり、それ以降もMCTF-MbAFFの回数を重ねるたびに対象ピクチャが変わることに注意されたい。MCTF-MbAFFは、最大で残りのLピクチャが1枚になるまで繰り返すことができる。
【００７７】
図１に示した逆MCTF-MbAFF部909の構成例を示したものが図６である。逆MCTF-MbAFF部909は、ピクチャ/ブロック管理部1402、ピクチャ分割部1403、入力切り替え部1404、逆適応的更新処理部1411、逆適応的予測処理部1407で構成される。
【００７８】
ピクチャ/ブロック管理部1402は、逆MCTF-MbAFF部909に入力される映像情報およびMCTF-MbAFF部909内の各処理部の信号をピクチャ単位、またブロック単位を把握し、各処理部での処理に必要な信号の位置などの制御情報を出力する機能を有する。
【００７９】
ピクチャ分割部1403は、映像情報およびピクチャ/ブロック管理部1402から出力される制御情報を入力として受け付ける機能を有する。また、入力される映像情報からLピクチャとHピクチャをわけ、Lピクチャを入力切り替え部1404に出力し、Hピクチャを逆適応的更新処理部1411および逆適応的予測処理部1407へ出力する機能を有する。
【００８０】
入力切り替え部1404は、ピクチャ分割部から出力されるLピクチャおよび逆適応的予測処理部1407から出力される信号を入力として受け付ける機能を有する。逆MCTF-MbAFFにおける最初の時間方向帯域合成では、入力されるLピクチャを、2回目以降の処理では逆適応的予測処理部1407より出力される信号を逆適応的更新処理部1411へ出力する機能を有する。現在の逆MCTF-MbAFF部909の処理が1回目であるか、2回目以降であるかは、ピクチャ/ブロック管理部1402より出力される制御情報を用いて判断する。
【００８１】
逆適応的更新部1411は、ピクチャ分割部1403から出力されるHピクチャ、入力切り替え部1404から出力される信号、符号化モードおよびピクチャ/ブロック管理部1402から出力される制御情報を入力として受け付ける機能を有する。適応的更新部1411は、入力される符号化モードをもとに所定のマクロブロックペア単位で切り替えを伴った逆更新を実現するために更新用切り替え部1405および逆更新処理部1406で構成される。また、逆適応的更新した結果得られる信号を逆適応的予測処理部1407へ出力する機能を有する。
【００８２】
逆更新用切り替え部1405は、ピクチャ分割部から出力されるHピクチャおよび符号化モードを入力として受け付ける機能を有する。まず、符号化モードを読み取り、注目する所定のマクロブロックペアが所定のマクロブロックペアフィールド符号化であればスイッチを導通させる。一方、符号化モードが所定のマクロブロックペアフレーム符号化であるとき遮断する。逆更新用切り替え部1405は、このように、入力された情報から判断してHピクチャを所定のマクロブロックペアごとに逆更新処理部1406に出力するか否かの動作を行う機能を有する。
【００８３】
逆更新処理部1406は、逆更新用切り替え部1405より出力されるHピクチャ、入力切り替え部1405かり出力される信号、動き情報、符号化モード、およびピクチャ/ブロック管理部1403から出力される制御情報を入力として受け付ける機能を有する。また、Hピクチャを逆更新対象の信号の位相に合わせるように逆MCして、その結果の信号と逆更新対象の信号にフィルタ処理を行う(逆更新処理する)機能を有する。
【００８４】
ここで、本実施例の逆更新処理が従来のものと異なる点は、前述の符号化モードを考慮した逆MCを行う（即ち、符号化モードがマクロブロックペアフィールド符号化モードを示す場合においてマクロブロックペアフィールド符号化に対応した逆動き補償を行う）点である。逆更新処理では、処理対象のピクチャと時間的に前後するピクチャにそれぞれ属する3つの所定のマクロブロックを1度に扱うため、逆MC時に3つ所定のマクロブロック内の構成をインタレース走査構成、所定のマクロブロックペアフレーム符号化構成、所定のマクロブロックペアフィールド構成のいずれかに統一するようにサンプル点(画素)をメモリから呼び出すような機能を有する。また、逆更新処理部1406は、逆更新処理の結果得られる信号を逆適応的予測処理部1407へ出力する機能を有する。
【００８５】
逆適応的予測処理部1407は、ピクチャ分割部1403より出力されるHピクチャ、逆適応的更新処理部1411より出力される信号、動き情報、符号化モードおよびピクチャ/ブロック管理部1402から出力される制御情報を入力として受け付ける機能を有する。逆適応的予測処理部1409は、MC部1409、フィルタリング部1410、インタレース走査復元部1408から構成される。また、逆適応的予測処理結果の信号を入力切り替え部1404および逆MCTF-MbAFF部909の外部へ出力する機能を有する。
【００８６】
MC部1409は、逆適応的更新部1411より出力される信号、符号化モード、動き情報およびピクチャ/ブロック管理部1402より出力される制御情報を入力として受け付ける機能を有する。本実施例におけるMCが従来のMCと異なる点は、前述の符号化モードを考慮した逆MCと同じ考え方で、符号化モードを考慮してMCを行う点である。逆適応的予測処理では、処理対象のピクチャと時間的に前後するピクチャにそれぞれ属する3つの所定のマクロブロックを1度に扱うため、MC時に3つの所定のマクロブロック内の構成をインタレース走査構成、所定のマクロブロックペアフレーム符号化構成、所定のマクロブロックペアフィールド構成のいずれかに統一するようにサンプル点(画素)をメモリから呼び出すような機能を有する。また、MC部1409は、MCの結果得られる信号をフィルタリング部1410へ出力する機能を有する。
【００８７】
フィルタリング部1410は、ピクチャ分割部1403より出力されるHピクチャ、MC部1409より出力される信号およびピクチャ/ブロック管理部1402より出力される制御情報を入力として受け付ける機能を有する。また、逆適応的予測処理対象のピクチャとその時間的に前後するHピクチャを用いてフィルタ処理し、その結果得られる信号をインタレース走査復元部1408へと出力する機能を有する。
【００８８】
インタレース走査復元部1408は、フィルタリング部1410から出力される信号と逆適応的更新処理部1411から出力される信号、符号化モードおよびピクチャ/ブロック管理部1402より出力される制御情報を入力として受け付ける機能を有する。また、逆適応的予測処理部1407から出力される信号と逆適応的更新処理部1411から出力される信号を、符号化モードと制御情報をもとに元のインタレース走査信号の構成を復元し、逆MCTF-MbAFF部909の外部および入力切り替え部1404へ出力する機能を有する。
【００８９】
図６に示した構成を用いて逆MCTF-MbAFFする手順を図７に示す。MCTF-MbAFFは、1GOP単位で行っても複数GOPにまたがって行っても良いS1301。また、あらかじめ、ピクチャ分割部1403において入力された信号をHピクチャとLピクチャを分けておく。
【００９０】
まず、逆適応的更新処理の手順を示す。逆更新用切り替え部1405に入力される符号化モードを読み取るS1502。符号化モードが所定のマクロブロックペアフィールド符号化の場合、逆更新用切り替え部1405を導通させて、Hピクチャを逆更新処理部1406に送り、前述の符号化モードを考慮した逆MC（マクロブロックペアフィールド符号化に対応した逆動き補償）を用いて逆更新処理を行うS1503。一方、符号化モードが所定のマクロブロックペアフレーム符号化の場合は、逆更新用切り替え部1405を切断状態(結果として逆更新処理をスキップすることになる)にする。同様に逆適応的更新処理を他の処理対象ピクチャ(同じ時間帯域分割階層)にも行うS1504。
【００９１】
次に、逆適応的予測処理の手順について説明する。逆適応的予測処理部1407のMC部1409を用いて、処理対象となるHピクチャの時間的に前後する例えばLピクチャに対して前述の符号化モードを考慮したMCを行うS1505。HピクチャおよびMCした信号に対してフィルタリング部1410でフィルタ処理するS1506。最後に、フィルタ処理した信号を符号化モードと制御情報をもとに元のインタレース走査信号の構成に復元するS1507。同様に逆適応的予測処理を他の逆適応的予測処理対象ピクチャ(同じ時間帯域分割階層)にも行うS1508。
【００９２】
逆MCTF-MbAFFは、所望の時間解像度の信号をデコードするか、または、すべての階層をデコードするまで繰り返すS1509。
【００９３】
図８に、本発明の一実施例を適用した情報処理装置1601の一例のブロック図を示す。情報処理装置1601は、外部記憶装置1602、一時記憶装置1603、通信装置1604、入力装置1605、中央処理制御装置1606および出力装置1607で構成されており、コンピュータである中央処理制御装置1606により符号化および復号化装置の機能をプログラムにより実現させるものである。ここで、上記のプログラムは記録媒体から読み取られて中央処理制御装置1606に取り込まれても良いし、ネットワークを介して通信装置1604により受信されて中央処理制御装置1606に取り込まれても良い。
【００９４】
中央処理制御装置1606は、上記プログラムにより、図８の中央処理制御装置内に示すそれぞれの手段をハードウェアまたはソフトウェア処理にて実現する。
【図面の簡単な説明】
【００９５】
【図１】本発明の一実施例を適用した時間階層符号化・復号化装置の構成を示すブロック図である。
【図２】図１に示す装置の符号化動作を示すフローチャートである。
【図３】図１に示す装置の復号化動作を示すフローチャートである。
【図４】図１に示すMCTF-MbAFF部の構成を示す図である。
【図５】図４に示すMCTF-MbAFF部の動作を示すフローチャートである。
【図６】図１に示す逆MCTF-MbAFF部の構成を示す図である。
【図７】図６に示す逆MCTF-MbAFF部の動作を示すフローチャートである。
【図８】本発明の一実施例を適用した情報処理装置の一例を示すブロック図である。
【図９】従来の符号化・復号化装置の構成を示すブロック図である。
【図１０】図９に示す装置の符号化動作を示すフローチャートである。
【図１１】図９に示す装置の復号化動作を示すフローチャートである。
【図１２】MCTF（動き補償を伴う時間帯域分割）部の動作を説明するための図である。
【図１３】MCTF部の動作を示すフローチャートである。
【図１４】MCTF処理後の信号の例を示す図である。
【図１５】従来のインタレース走査信号の符号化を説明するための図である。
【図１６】インタレース走査信号のペアリング妨害の例を示す図である。
【符号の説明】
【００９６】
101  符号化部
102  通信回線またはメディア
103  復号化部
104  MCTF部
105  直交変換・量子化部
106  エントロピー符号化部
107  エントロピー復号化部
108  逆量子化・逆直交変換部
109  逆MCTF部
401  入力されたオリジナルの映像信号
402  予測処理を1回実施して得られるHフレーム
403  更新処理を1回実施して得られるLフレーム
404  予測処理を2回実施して得られるHフレーム
405  更新処理を2回実施して得られるLフレーム
406  予測処理を3回実施して得られるHフレーム
407  更新処理を3回実施手得られるLフレーム
601  MCTF処理後の信号の例
901  符号化部
903  復号化部
904  MCTF-MbAFF部
906  エントロピー符号化部
907  エントロピー復号化部
909  逆MCTF-MbAFF部
1202  入力切り替え部
1203  適応的予測処理部
1204  適応的更新処理部
1205  ピクチャ並び替え部
1206  ピクチャ/ブロック管理部
1207  ME/MC部
1208  フィルタリング/モード判定部
1209  更新用切り替え部
1210  更新処理部
1402  ピクチャ/ブロック管理部
1403  ピクチャ分割部
1404  入力切り替え部
1405  逆更新用切り替え部
1406  逆更新処理部
1407  逆適応的予測処理部
1408  インタレース走査復元部
1409  MC部
1410  フィルタリング部
1411  逆適応的更新処理部
1601  情報処理装置
1602  外部記憶装置
1603  一時記憶装置
1604  通信装置
1605  入力装置
1606  中央処理制御装置
1607  出力装置
【図１】
2007088839.tif 000003
【図２】
2007088839.tif 000004
【図３】
2007088839.tif 000005
【図４】
2007088839.tif 000006
【図５】
2007088839.tif 000007
【図６】
2007088839.tif 000008
【図７】
2007088839.tif 000009
【図８】
2007088839.tif 000010
【図９】
2007088839.tif 000011
【図１０】
2007088839.tif 000012
【図１１】
2007088839.tif 000013
【図１２】
2007088839.tif 000014
【図１３】
2007088839.tif 000015
【図１４】
2007088839.tif 000016
【図１５】
2007088839.tif 000017
【図１６】
2007088839.tif 000018