(57)【要約】【課題】  動き補償を伴う時間帯域分割(ＭＣＴＦ)を用いたインタレース走査信号の時間階層符号化において、Picture AFFを適用した場合のペアリング妨害の問題を解決し、復号映像信号の品質劣化と符号化効率の低下を防止する。【解決手段】  インタレース走査信号をMCTF-PictureAFF部904においてペアリング妨害の影響を考慮したPicture AFF対応のMCTF(MCTF-PictureAFF)を行う。MCTF-PictureAFFの結果得られた映像情報を直交変換・量子化部105において直交変換・量子化を行う。MCTF-PictureAFF部904で得た切り替えフラグ、動き情報および符号化モード、直交変換・量子化部105から出力される映像情報をエントロピー符号化部906においてエントロピー符号化し、ビットストリームを生成する。【選択図】      図１
2007096415.tif 000002
【特許請求の範囲】
【請求項１】
動き補償を伴う時間階層符号化装置であって、
入力インタレース走査信号を、ピクチャ単位フレーム符号化とピクチャ単位フィールド符号化のいずれかの構成を選択して予測処理を行う適応的予測処理手段と、
前記適応的予測処理手段によって得られる信号から局所的なペアリング妨害の影響度を検出するペアリング妨害影響度検出手段と、
前記ペアリング妨害の影響度に応じて局所的な切り替えを伴った更新処理を行う適応的更新処理手段と、
前記適応的予測手段と適応的更新処理手段によって得られる動き補償を伴った時間帯域分割された信号を符号化する符号化手段と、
を備えたことを特徴とする時間階層符号化装置。
【請求項２】
動き補償を伴う時間階層符号化方法であって、
入力インタレース走査信号を、ピクチャ単位フレーム符号化とピクチャ単位フィールド符号化のいずれかの構成を選択して予測処理を行う適応的予測処理ステップと、
前記適応的予測処理ステップによって得られる信号から局所的なペアリング妨害の影響度を検出するペアリング妨害影響度検出ステップと、
前記ペアリング妨害の影響度に応じて局所的な切り替えを伴った更新処理を行う適応的更新処理ステップと、
前記適応的予測ステップと適応的更新処理ステップによって得られる動き補償を伴った時間帯域分割された信号を符号化する符号化ステップと、
を備えたことを特徴とする時間階層符号化方法。
【請求項３】
コンピュータに動き補償を伴う時間階層符号化機能を実行させるための時間階層符号化プログラムであって、
入力インタレース走査信号を、ピクチャ単位フレーム符号化とピクチャ単位フィールド符号化のいずれかの構成を選択して予測処理を行う適応的予測処理ステップと、
前記適応的予測処理ステップによって得られる信号から局所的なペアリング妨害の影響度を検出するペアリング妨害影響度検出ステップと、
前記ペアリング妨害の影響度に応じて局所的な切り替えを伴った更新処理を行う適応的更新処理ステップと、
前記適応的予測ステップと適応的更新処理ステップによって得られる動き補償を伴った時間帯域分割された信号を符号化する符号化ステップと、
をコンピュータに実行させるための時間階層符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号の符号化、特に時間階層符号化（時間帯域分割階層符号化）に関する。
【背景技術】
【０００２】
従来、映像符号化において空間解像度、時間解像度およびSNRそれぞれのスケーラビリティを実現する符号化方式が数多く提案されており、さまざまな分野でこれらの実用化がなされている。なかでも、近年、時間解像度のスケーラビリティを高い符号化効率で実現する方法として特許文献１が提案され、注目を集めている。
【０００３】
特許文献１では、「動き補償時間ウェーブレット変換(以下MCTF，Motion Compensation Temporal Filteringと表記)」が提案されており、これは、例えば従来のH.264/AVCのようなME(Motion Estimation)とMC(Motion Compensation)を行った後に時間方向にリフティング構成のウェーブレット変換を用いて帯域分割する方法である。
【０００４】
図９に従来のMCTFを用いた符号化および復号化を実現するための構成例を示す。符号化部101にはオリジナルの映像信号が入力され、符号化部101で生成されたビットストリームが通信回線またはメディアなど102を介して復号化部103に伝送される。復号化部103では供給されたビットストリームを受信してデコードし、デコード映像信号を出力する。
【０００５】
符号化部101は、MCTF部104、直交変換・量子化部105およびエントロピー符号化部106で構成される。
MCTF部104は、オリジナルの映像信号を入力として受け付ける機能を有する。入力された信号に対して動き補償を伴った時間方向の帯域分割を行う。MCTF部104内部での動作の詳細については後述する。MCTFの結果得られる映像情報を直交変換・量子化部105へ、動き情報をエントロピー符号化部106へと出力する機能を有する。
【０００６】
直交変換・量子化部105は、映像情報を入力として受け付け、直交変換して量子化し、エントロピー符号化部106へ出力する機能を有する。直交変換はDCTやアダマール変換、ウェーブレット変換などが代表例である。
【０００７】
エントロピー符号化部106は、量子化された映像情報と動き情報を入力として受け付け、それぞれをエントロピー符号化する機能を有する。また、エントロピー符号化によって生成されたビットストリームを符号化部101の外部へ出力する機能を有する。
【０００８】
復号化部103は、エントロピー復号化部107、逆直交変換・逆量子化部108および逆MCTF部109から構成される。
エントロピー復号化部107は、ビットストリームのうち一部またはすべてを入力として受け付け、復号して映像情報を逆量子化・逆直交変換部108、動き情報を逆MCTF部109へ出力する機能を有する。
【０００９】
逆量子化・逆直交変換部108は、復号された映像情報を入力として受け付け、逆量子化、逆直交変換を行って逆MCTF部109へ出力する機能を有する。
逆MCTF部109は、逆直交変換された映像情報信号、復号された動き情報を入力として受け付ける機能を有する。入力された信号を用いて、動き補償を伴った時間方向の帯域合成を行い映像信号を復元し、復号化部103の外部へ出力する機能を有する。
【００１０】
図９に示した符号化部101の構成例を用いて映像信号を符号化する手順を図１０に示す。
オリジナルの映像信号をMCTF部104において、動き補償を伴った時間方向の帯域分割を行うS201。手順の詳細については後述する。この結果得られた映像情報を直交変換・量子化部105に送る。動き情報は、エントロピー符号化部106に送られる。
【００１１】
MCTF部104において時間方向に帯域分割した映像情報信号を直交変換・量子化部105で直交変換、量子化するS202。直交変換、量子化した信号をエントロピー符号化部106へ送る。
【００１２】
MCTF部104で得た動き情報と直交変換・量子化部105から出力される映像情報をエントロピー符号化部106においてエントロピー符号化し、ビットストリームを生成するS203。
図９に示した復号化部103の構成例を用いてビットストリームを復号化する手順を図１１に示す。
【００１３】
入力されたビットストリームの一部またはすべてをエントロピー復号化部107において復号するS301。復号した結果得られる映像情報を逆量子化・逆直交変換部108へ送り、復号した動き情報を逆MCTF部109に送る。
【００１４】
復号した映像情報を逆量子化・逆直交変換部108を用いて逆量子化、逆直交変換するS302。この結果得られる信号を逆MCTF部109へと送る。
逆直交変換された映像情報および復号された動き情報を用いて、逆MCTF部109において動き補償を伴った時間方向の帯域合成を行い映像信号を復号するS303。
【００１５】
MCTF部104の動作例の詳細について説明する。図１２にMCTFの一例として5/3リフティング構成のものを示す。また、MCTFの手順の流れの例を図１３に示す。ここで、オリジナルの映像信号401を例えば8ピクチャごとの単位(以下GOP，Group of Pictureと表記)で処理を行うS501。図１２のS(n)ピクチャを処理対象ピクチャとした場合、S(n-1)ピクチャとS(n+1)ピクチャをS(n)ピクチャの位相に合わせるようにそれぞれME/MCを行うS502。そして、 S(n-1)ピクチャとS(n+1)ピクチャをそれぞれMCしたものとS(n)ピクチャにフィルタ処理するS503。S502およびS503の処理をここでは予測処理（プレディクション処理）と呼ぶ。
【００１６】
予測処理の結果得られるピクチャがH(高周波数成分に分割された)ピクチャ402である。この処理を連続する他の偶数ピクチャにも同様の処理を行うS504。
次に、S(n-1)ピクチャを処理対象ピクチャとした場合、H1(n-2)ピクチャとH1(n)ピクチャをS(n-1)ピクチャの位相に合わせるように、MEで求めたベクトルを逆方向にたどってMCして、すなわち、逆MCしてS505、逆MCしたH1(n-2)ピクチャとH1(n)ピクチャ、およびS(n-1)ピクチャにフィルタ処理をするS506。この処理をここでは更新処理（アップデート処理）と呼ぶ。更新処理の結果得られるLピクチャ403は時間方向の低域成分である。
【００１７】
なお、同様の処理を他の奇数ピクチャに対しても行うS507。MCTFを繰り返し行いS508、時間方向に帯域分割して低域信号を取り出すことで、時間解像度の低い映像信号を生成できる。
【００１８】
ここで、MCTFを繰り返して実施する場合、図１２からわかるように、2回目のMCTFは予測処理対象ピクチャが偶数ピクチャから奇数ピクチャへと変わり、更新処理対象ピクチャが奇数ピクチャから偶数ピクチャとなり、それ以降もMCTFの回数を重ねるたびに対象ピクチャが変わることに注意されたい。実際に符号化するピクチャは、例えば図１４に示すようにLピクチャ1枚と残りはHピクチャとなる601。デコード側で高レートの映像信号を再生する場合には，MCTFの逆の手順で逆更新処理および逆予測処理を繰り返し、低域信号に高域信号を合成すればよい。
【００１９】
さらに、特許文献1には、時間方向のみならず、空間方向にも例えばウェーブレットやDCTを用いてスケーラビリティを実現する方法が示されている。このことにより、デコード側では、ネットワークの状況やデコーダ、ディスプレイなどの性能にあわせて任意の空間解像度および時間解像度を選択して受信することが可能となっている。
【００２０】
一方、スケーラブル符号化とは無関係に、インタレース走査信号を符号化する方法も従来に検討がなされている。映像符号化のインタレース走査信号への対応はテレビ放送方式などへの対応として必要不可欠である。インタレース走査信号の符号化方法の代表例としてH.264/AVCにおけるPicture AFF(Picture Adaptive Field Frame)及びMb AFF(Macro block Adaptive Field Frame)などがある。
【００２１】
図１５を用いてPicture AFFおよびMb AFFの説明をする。図１５(a)に示すようにインタレース走査信号の第1フィールドと第2フィールドを交互に配置して1枚のピクチャを構成して符号化する方法をピクチャ単位フレーム符号化と呼ぶ。また、図１５(b)のように第1フィールドと第2フィールドを別々に符号化する方法をピクチャ単位フィールド符号化と呼ぶ。H.264/AVCでは、ピクチャ単位フレーム符号化とピクチャ単位フィールド符号化のいずれかを単独で使用してもよいし、符号化効率が向上するように2つの方法をピクチャ単位で適応的に切り替えてもよい。なお、後者の方法をPicture AFFと呼ぶ。
【００２２】
さらに、H.264/AVCでは、フレーム符号化とフィールド符号化を2つのマクロブロック単位で切り替えることも認めている。この方法をMb AFFと呼ぶ。図１５(c)に示すように、垂直方向に隣接する2つのマクロブロック(マクロブロックペア)をひとつの処理単位とする。
【００２３】
この場合のマクロブロックペアフレーム符号化およびマクロブロックペアフィールド符号化の様子を示したものが図１５(d)、(e)である。ピクチャ単位の符号化と同様に、マクロブロックペアフレーム符号化ではマクロブロックペア内の信号が第1フィールドと第2フィールドが交互に配置されている。また、マクロブロックペアフィールド符号化では2つのフィールドを分けて配置してマクロブロックペアを構成している。なお、符号化の取り扱いはマクロブロックペア単位で行われるが、ME/MCは上下のマクロブロックで独立に行ってもよい。
【特許文献１】特表2004-524730号公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
特許文献1は、動き補償を伴った時間方向の帯域分割であるMCTFを用いることで時間方向のスケーラブル符号化を高効率で実現している。また、高ビットレートにおいては時間方向のスケーラブル機能を利用しない場合にも高い符号化効率が得られる優れた符号化方式である。しかしながら、特許文献1においてはインタレース走査信号を対象とした検討がなされていない。インタレース走査信号を高効率で符号化するPicture AFFやMb AFFを単純にMCTFに適用することが考えられるが、特にPicture AFFを用いる場合、以下の問題があげられる。
【００２５】
符号化モードにピクチャ単位フレーム符号化を用いた場合、動きの多いピクチャでは、図１６に示すように、トップフィールドとボトムフィールドの1/60秒の時間差によって映像の輪郭部分がずれるようなペアリング妨害が生じてしまう。よって、動きの多いピクチャでは、ピクチャ単位フィールド符号化を採用してこの影響を排除することが望ましい。一方、動きの少ないピクチャでは、ペアリング妨害が少ないため、ピクチャ単位フレーム符号化したほうが空間垂直方向の相関を利用して符号化できる。このような考えのもとにPicture AFFはピクチャ単位で符号化モードを切り替えて符号化効率の向上を実現している。しかしながら、動きが少ないピクチャでピクチャ単位フレーム符号化が選択されている場合にも局所的に動きがあるとペアリング妨害は発生してしまう。
【００２６】
このような現象が起こっている領域のMC精度は低く、その結果、Hピクチャに時間方向の高周波数成分として残ることが多い。従来のH.264/AVCなどにおけるペアリング妨害による影響はPピクチャやBピクチャ(厳密には異なるがMCTFにおけるHピクチャに相当)内にとどまっていたが、MCTFでは、Lピクチャを生成するためにHピクチャを用いて更新処理を行うため、Lピクチャにもペアリング妨害の影響が及んでしまう。さらに、Lピクチャが劣化することによって2階分解以降のMC精度が悪くなり、符号化効率の低下を招いてしまう。
【００２７】
よって、本発明では、Mb AFFに比べ計算量が少なくシステムの規模小さなPicture AFFを用いた場合における前述の問題を解決することで、比較的小さな規模のシステムでMCTFのインタレース走査信号への対応を実現する。
【課題を解決するための手段】
【００２８】
そこで、上記課題を解決するために本発明は、以下の装置、方法、及びプログラムを提供するものである。
（１）  動き補償を伴う時間階層符号化装置であって、
入力インタレース走査信号を、ピクチャ単位フレーム符号化とピクチャ単位フィールド符号化のいずれかの構成を選択して予測処理を行う適応的予測処理手段と、
前記適応的予測処理手段によって得られる信号から局所的なペアリング妨害の影響度を検出するペアリング妨害影響度検出手段と、
前記ペアリング妨害の影響度に応じて局所的な切り替えを伴った更新処理を行う適応的更新処理手段と、
前記適応的予測手段と適応的更新処理手段によって得られる動き補償を伴った時間帯域分割された信号を符号化する符号化手段と、
を備えたことを特徴とする時間階層符号化装置。
（２）  動き補償を伴う時間階層符号化方法であって、
入力インタレース走査信号を、ピクチャ単位フレーム符号化とピクチャ単位フィールド符号化のいずれかの構成を選択して予測処理を行う適応的予測処理ステップと、
前記適応的予測処理ステップによって得られる信号から局所的なペアリング妨害の影響度を検出するペアリング妨害影響度検出ステップと、
前記ペアリング妨害の影響度に応じて局所的な切り替えを伴った更新処理を行う適応的更新処理ステップと、
前記適応的予測ステップと適応的更新処理ステップによって得られる動き補償を伴った時間帯域分割された信号を符号化する符号化ステップと、
を備えたことを特徴とする時間階層符号化方法。
（３）  コンピュータに動き補償を伴う時間階層符号化機能を実行させるための時間階層符号化プログラムであって、
入力インタレース走査信号を、ピクチャ単位フレーム符号化とピクチャ単位フィールド符号化のいずれかの構成を選択して予測処理を行う適応的予測処理ステップと、
前記適応的予測処理ステップによって得られる信号から局所的なペアリング妨害の影響度を検出するペアリング妨害影響度検出ステップと、
前記ペアリング妨害の影響度に応じて局所的な切り替えを伴った更新処理を行う適応的更新処理ステップと、
前記適応的予測ステップと適応的更新処理ステップによって得られる動き補償を伴った時間帯域分割された信号を符号化する符号化ステップと、
をコンピュータに実行させるための時間階層符号化プログラム。
【発明の効果】
【００２９】
本発明によれば、動き補償を伴う時間帯域分割(MCTF)に、Mb AFFに比べて少ない演算量のPicture AFFを適用したインタレース走査信号の時間階層符号化において、局所的なペアリング妨害の影響度を検出し、ペアリング妨害の影響度に応じて適応的に更新処理を行うように制御し、ペアリング妨害をHピクチャ内にとどめてLピクチャへ伝播させないことを実現した。よって、回路規模の大型化を抑えて、インタレース走査信号に対して復号映像の品質低下を防止して高効率な符号化を行える。
【発明を実施するための最良の形態】
【００３０】
以下、図面と共に本発明の実施例を説明する。
［実施例］
本発明では、MCTFにPicture AFFを適用することによって生じる前述の問題を解決するために、局所的なペアリング妨害の影響度を検出し、ペアリング妨害の影響度に応じて適応的に更新処理（アップデート処理）を行うことで、ペアリング妨害をHピクチャ内にとどめてLピクチャへ伝播させないことを実現する。
【００３１】
図１に本発明の一実施例を適用した時間階層符号化・復号化装置の構成例を示す。符号化部901にはインタレース走査信号が入力され、符号化部901で生成されたビットストリームが通信回線またはメディアなど102を介して復号化部903に伝送される。復号化部903では供給されたビットストリームを受信してデコードし、デコード映像信号(インタレース走査信号)を出力する。
【００３２】
符号化部901は、MCTF-PictureAFF部904、直交変換・量子化部105およびエントロピー符号化部906で構成される。直交変換・量子化部105は、従来と同等のもので実現できるため、図９の従来例と同じ番号で示している。
【００３３】
MCTF-PictureAFF部904は、入力としてインタレース走査信号を受け付ける機能を有する。また、インタレース走査信号に対応したMCTFを行う(MCTF-PictureAFF)機能を有する。その動作例については後述する。MCTF-PictureAFF部904でインタレース走査信号を処理した結果、映像情報、切り替えフラグ、動き情報および符号化モードを得る。そして、映像情報を直交変換・量子化部105へ、切り替えフラグ、動き情報および符号化モードをエントロピー符号化部906へ出力する機能を有する。
【００３４】
エントロピー符号化部906は、直交変換・量子化部105より出力される映像情報、MCTF-PictureAFF部904より出力される切り替えフラグ、動き情報および符号化モードを入力として受け付ける機能を有する。入力されたそれぞれの情報をエントロピー符号化してビットストリームを生成し、符号化器901の外部へ出力する機能を有する。
【００３５】
復号化部903は、エントロピー復号化部907、逆量子化・逆直交変換部108および逆MCTF-PictureAFF部909で構成される。逆量子化・逆直交変換部108は従来と同等のもので実現できるため、図９の従来例と同じ番号で示している。
【００３６】
エントロピー復号化部907は、ビットストリームの一部またはすべてを入力として受け付け、エントロピー復号化して映像情報、切り替えフラグ、動き情報および符号化モードを得る機能を有する。復号した映像情報を逆量子化・逆直交変換部108へ、切り替えフラグ、動き情報および符号化モードを逆MCTF-PictureAFF部909に出力する機能を有する。
【００３７】
逆MCTF-PictureAFF部909は、逆量子化・逆直交変換部108より出力される映像情報、エントロピー復号化部907より出力される切り替えフラグ、動き情報および符号化モードを入力として受け付ける機能を有する。入力された情報をもとにインタレース走査信号を復号して復号化部903の外部に出力する機能を有する。逆MCTF-PictureAFF部909の動作の例については後述する。
【００３８】
図１の本発明の一実施例を適用した構成例を用いてインタレース走査信号を符号化する手順を図２に示す。
オリジナルのインタレース走査信号をMCTF-PictureAFF部904においてMCTF-PictureAFFを行うS1001。MCTF-PictureAFFの詳細な手順の例については後述する。この結果得られた映像情報を直交変換・量子化部105へ送り、切り替えフラグ、動き情報および符号化モードをエントロピー符号化部906へ送る。
【００３９】
MCTF-PictureAFFの結果得られた映像情報を直交変換・量子化部105において直交変換・量子化を行うS1002。直交変換、量子化した信号をエントロピー符号化部906に送る。
MCTF-PictureAFF部904で得た切り替えフラグ、動き情報および符号化モード、直交変換・量子化部105から出力される映像情報をエントロピー符号化部906においてエントロピー符号化し、ビットストリームを生成するS1003。
【００４０】
図１に示した復号化部903の構成例を用いてビットストリームを復号化する手順を図３に示す。
入力されたビットストリームの一部またはすべてをエントロピー復号化部907において復号するS1101。復号した結果得られる映像情報を逆量子化・逆直交変換部108へ送り、復号した切り替えフラグ、動き情報および符号化モードを逆MCTF-PictureAFF部909に送る。
【００４１】
復号した映像情報を逆量子化・逆直交変換部108を用いて逆量子化、逆直交変換するS1102。この結果得られる信号を逆MCTF-PictureAFF部909へと送る。
逆直交変換された映像情報、復号された切り替えフラグ、動き情報および符号化モードを用いて、逆MCTF-PictureAFF部909において逆MCTF-PicutreAFFを行いインタレース走査信号を復号するS1103。逆MCTF-PictureAFFの詳細な手順の例については後述する。
【００４２】
図１に示したMCTF-PictureAFF部904の構成例を示したものが図４である。MCTF-PictureAFF部904は、入力切り替え部1202、適応的予測処理部（適応的プレディクション処理部）1203、ペアリング妨害影響度検出部1204、適応的更新処理部1211、ピクチャ/ブロック管理部1207およびピクチャ並び替え部1208で構成される。
【００４３】
入力切り替え部1202は、オリジナルのインタレース走査信号、適応的更新処理部1211より出力されるLピクチャ、ピクチャ/ブロック管理部1207より出力される制御情報を入力として受け付ける機能を有する。MCTF-PictureAFFにおける1階目の時間方向帯域分割では、オリジナルのインタレース走査信号を、2階目以降の処理では適応的更新処理部1211より出力されるLピクチャを、適応的予測処理部1203および適応的更新処理部1211へ出力する機能を有する。現在のMCTF-PictureAFF部904の処理が1階目であるか、2階目以降であるかは、ピクチャ/ブロック管理部1207より出力される制御情報を用いて判断する。
【００４４】
適応的予測処理部1203は、入力切り替え部1202より出力される信号およびピクチャ/ブロック管理部1207より出力される制御情報を入力として受け付ける機能を有する。従来の予測処理の機能であるME/MCおよびフィルタリングに加えてインタレース走査信号をピクチャ単位フレーム符号化するかピクチャ単位フィールド符号化するかのいずれかを選択するためのモード判定の機能を有する。
【００４５】
これらの機能を有するために、適応的予測処理部1203は、ME/MC部1209およびフィルタリング/モード判定部1210から構成される。また、本実施例における適応的予測処理の結果得られるHピクチャをペアリング妨害影響度検出部1204、適応的更新処理部1211およびピクチャ並び替え部1208へ出力し、動き情報を適応的更新処理部1211およびMCTF-PictureAFF部904の外部へ出力し、符号化モードをペアリング妨害影響度検出部1204、適応的更新処理部1211およびMCTF-PictureAFF部904の外部へ出力する機能を有する。
【００４６】
ME/MC部1209は、入力切り替え部1202より出力される信号およびピクチャ/ブロック管理部1207より出力される制御情報を入力として受け付ける機能を有する。また、Picture AFFのピクチャ単位フレーム符号化およびピクチャ単位フィールド符号化の両方に対応するME/MCを行う機能を有する。ME/MCした結果の信号をフィルタリング/モード判定部1210へ出力し、動き情報を適応的更新処理部1211およびMCTF-PuctureAFF部904の外部へ出力する機能を有する。
【００４７】
フィルタリング/モード判定部1210は、ME/MC部1209より出力される信号およびピクチャ/ブロック管理部1207より出力される制御情報を入力として受け付ける機能を有する。まず、ME/MCした信号にフィルタ処理をし、次に、何らかの判定基準を用いてピクチャ単位フレーム符号化するかピクチャ単位フィールド符号化するかいずれかの判定を行う。判定基準の一例としては、ピクチャ単位フレーム符号化およびピクチャ単位フィールド符号化それぞれに対応するME/MCをした信号にフィルタ処理をして、2つの結果からエントロピーが小さくなることが予想できる(残差の少ない)方を採用する方法があげられる。
【００４８】
また、フィルタリング/モード判定部1210は、モード判定の結果選択された信号をペアリング妨害影響度検出部1204、適応的更新処理部1211およびピクチャ並び替え部1208へ出力し、いずれの符号化モードを選択したかの情報をペアリング妨害影響度検出部1204、適応的更新処理部1211およびMCTF-PictureAFF部904の外部へ出力する機能を有する。
【００４９】
ペアリング妨害影響度検出部1204は、ピクチャ/ブロック管理部1207より出力される制御情報、適応的予測処理部1203より出力されるHピクチャおよび符号化モードを入力として受け付ける機能を有する。
【００５０】
ペアリング妨害影響度検出部1204が用意されている目的は、符号化モードがピクチャ単位フレーム符号化であるときに、Hピクチャに含まれる局所的なペアリング妨害の影響度を検出し、その影響度が高い領域は適応的更新処理部1211内の更新用切り替え部1205をオフにして更新処理を行わないようにすることである。
【００５１】
ペアリング妨害影響度検出部1204では、入力される符号化モードを監視し、符号化モードがピクチャ単位フィールド符号化のときは、ペアリング妨害が生じないため、更新処理は通常のままの処理でよいことから動作は行わない。一方、入力された符号化モードがピクチャ単位フレーム符号化であるときは、ピクチャ単位で動きが少ない映像であっても局所的に動きが存在してペアリング妨害が生じる可能性がある。そこで、Hピクチャに含まれる局所的なペアリング妨害の影響度を検出する。
【００５２】
ペアリング妨害が生じている領域は、第1フィールドと第2フィールドで図１６に示したようなズレが生じることから、垂直方向に高い周波数成分をもつことになる。よって、この信号に対して予測処理した結果得られるHピクチャにも、この影響が残ることが多い。そこで、例えばHピクチャのMxNブロックごとに垂直方向の高周波数成分抽出などに代表される信号解析を用いたり、垂直方向の分散などの統計量を用いたりすることでペアリング妨害の影響度を定量的に検出する。
【００５３】
このようにしてペアリング妨害の影響度を定量化したものを例えば閾値処理をすることによって、ペアリング妨害の高い領域とそうでない領域とにわけることができる。ペアリング妨害の影響度の低い領域は、更新処理を行っても問題が無く、それを示すための切り替えフラグは例えば0とする。一方、ペアリング妨害の影響度の高い領域は、更新処理を行わないようにするため、それを示すための切り替えフラグは例えば1とする。
【００５４】
ペアリング妨害影響度検出部1204は、以上に示したような、入力されるHピクチャと符号化モードからペアリング妨害の影響度を検出し、適切な切り替えフラグを設定する機能をもつ。また、設定した切り替えフラグを適応的更新処理部1211およびMCTF-PictureAFF部904の外部へ出力する機能をもつ。
【００５５】
適応的更新処理部1211は、適応的予測処理部1203より出力されるHピクチャ、動き情報、符号化モード、入力切り替え部1202より出力される信号、ペアリング妨害影響度検出部1204より出力される切り替えフラグを入力として受け付ける機能を有する。適応的更新部1211は、入力される符号化モードおよび切り替えフラグをもとに局所的な切り替えを伴った更新処理を実現するために、更新用切り替え部1205および更新処理部1206で構成される。また、適応的更新処理した信号を入力切り替え部1202およびピクチャ並び替え部1208へ出力する機能を有する。
【００５６】
更新用切り替え部1205は、ペアリング妨害影響度検出部1204より出力される切り替えフラグ、適応的予測処理部1203より出力されるHピクチャおよび符号化モードを入力として受け付ける機能を有する。また、入力された符号化モードおよび切り替えフラグの状態に応じてHピクチャを更新処理部1206に出力するか否かの動作を行う機能を有する。例えば、符号化モードがピクチャ単位フレーム符号化モード、かつ、切り替えフラグが1の場合にHピクチャを更新処理部1206に出力しないようにする。それ以外の場合にはHピクチャを更新処理部1206に出力する。
【００５７】
更新処理部1206は、入力切り替え部1202から出力されるオリジナルの信号またはLピクチャ、更新用切り替え部1205から出力されるHピクチャ、ピクチャ/ブロック管理部1207から出力される制御情報、適応的予測処理部1203から出力される動き情報および符号化モードを入力として受け付ける機能を有する。また、Hピクチャを更新対象のオリジナルの信号またはLピクチャの位相に合わせるように逆MCして、その結果の信号とLピクチャにフィルタ処理を行う(更新処理する)機能を有する。
【００５８】
ここで、本実施例の更新処理が従来のものと異なる点は、符号化モードを考慮して逆MCを実施することである。Picture AFFでは、ピクチャ単位で符号化モードを切り替えることが可能であるため、例えば、図１２のS(n-1)のピクチャが更新処理対象であった場合、H1(n)とH1(n-2)の符号化モードがそれぞれピクチャ単位フレーム符号化またはピクチャ単位フィールド符号化のいずれかを取り得る。異なる符号化モードのピクチャ同士で更新処理を行った場合、ピクチャ間で空間位置が異なるサンプル点(画素)に時間的なフィルタが施されてしまうことになる。
【００５９】
従って、S(n-1)、H1(n)およびH1(n-2)の3枚のピクチャの空間位置を合わせるように考慮して逆MCを行う(以下、符号化モードを考慮した逆MCと呼ぶ)。例えば、インタレース走査の構成、ピクチャ単位フレーム符号化の構成、ピクチャ単位フィールド符号化の構成のいずれかに統一するように、メモリからサンプル点(画素)を呼び出して逆MCを行う。また、更新処理部1206は更新処理した結果得られるLピクチャを入力切り替え部1202およびピクチャ並び替え部1208へ出力する機能を有する。
【００６０】
ピクチャ/ブロック管理部1207は、MCTF-PictureAFF部904に入力されるインタレース走査信号およびMCTF-AFFPicuture部904内の各処理部の信号をピクチャ単位、またブロック単位で把握し、各処理部での処理に必要な信号の位置などの制御情報を出力する機能を有する。
【００６１】
ピクチャ並び替え部1208は適応的予測処理部1203から出力されるHピクチャ、適応的更新処理部1211から出力されるLピクチャおよびピクチャ/ブロック管理部1207から出力される制御情報を入力として受け付ける機能を有する。ピクチャ並び替え部1208では、MCTF-PictureAFFの終了したピクチャを所望の順序に並び替える機能を有し、その結果をMCTF-PictureAFF部904の外部へと出力する機能を有する。
【００６２】
図４に示した構成を用いてインタレース走査信号をMCTF-PictureAFFする手順を図５に示す。MCTF-PictureAFFは、1GOP単位で行っても複数GOPにまたがって行っても良いS1301。
【００６３】
まず、適応的予測処理の手順について説明する。適応的予測処理部1203のME/MC部1209を用いて、適応的予測処理対象ピクチャ(例えば偶数番目のピクチャ)の時間的に前後するピクチャ(例えば奇数番目のピクチャ)を処理対象ピクチャの位相に合わせるようにME/MCするS1302。ここで、後段の符号化モード判定を行うために、ピクチャ単位フレーム符号化およびピクチャ単位フィールド符号化の両方のME/MCを行う。ME/MCした信号をフィルタリング/モード判定部1210へ送り、動き情報を適応的予測処理部1203の外部へ出力する。2つの符号化モードのME/MCしたそれぞれの信号に対してフィルタリング/モード判定部1210でフィルタ処理を行うS1303。
【００６４】
そして、フィルタ処理の結果、残差のエントロピーの小さい方の符号化モードの信号を選択してHピクチャとし、符号化モードの情報とともに適応的予測処理部1203の外部へ出力するS1304。同様に適応的予測処理を他の適応的予測処理対象ピクチャ(例えば偶数番目のピクチャ)にも行うS1305。
【００６５】
次に、更新処理の手順を示す。ここで、更新処理の対象を例えば奇数番目のピクチャとする。ペアリング妨害影響度検出部1204において、適応的予測処理結果から得られる符号化モードを読み取るS1306。符号化モードがピクチャ単位フィールド符号化の場合、更新用切り替え部1205を導通させて、Hピクチャ(例えば偶数ピクチャ)を更新処理部1206に送り、前述の符号化モードを考慮した逆MCを用いて更新処理を行うS1310。この場合、デコード側で符号化モードのみの情報で更新用切り替え部1205の状態がわかるため、切り替えフラグを符号化しなくてもよい。
【００６６】
一方、符号化モードがピクチャ単位フレーム符号化の場合、ペアリング影響度検出部1204においてMxNサイズのブロックごとにHピクチャの局所的なペアリング妨害の影響度を算出するS1307。ペアリング妨害の影響度が低いと判断された場合は切り替えフラグを例えば0とし、ペアリング妨害の影響度が高いと判断された場合は切り替えフラグを例えば1とするS1308。そして、切り替えフラグを参照して更新用切り替え部1205を制御する。切り替えフラグが例えば0の時には、更新用切り替え部1205は導通状態、例えば1のときには切断状態(結果として更新処理をスキップすることになる)にする。
【００６７】
そして、更新用切り替え部1205より出力されるHピクチャを用いて、入力切り替え部1202から出力されるオリジナルの信号またはLピクチャを更新処理部1206において前述の符号化モードを考慮した逆MCを用いて更新処理を行うS1309。同様に更新処理を他の処理対象ピクチャ(例えば奇数番目のピクチャ)にも行うS1311。
【００６８】
MCTF-PictureAFFを繰り返して実施する場合S1312、従来のMCTFと同様に2回目のMCTF-PictureAFFは適応的予測処理対象ピクチャが偶数ピクチャから奇数ピクチャへと変わり、更新処理対象ピクチャが奇数ピクチャから偶数ピクチャとなり、それ以降もMCTF-PictureAFFの回数を重ねるたびに対象ピクチャが変わることに注意されたい。MCTF-PictureAFFは、最大で残りのLピクチャが1枚になるまで繰り返すことができる。
【００６９】
図１に示した逆MCTF-PictureAFF部909の構成例を示したものが図６である。逆MCTF-PictureAFF部909は、ピクチャ/ブロック管理部1402、ピクチャ分割部1403、入力切り替え部1404、逆適応的更新処理部1411、逆適応的予測処理部1407で構成される。
【００７０】
ピクチャ/ブロック管理部1402は、逆MCTF-PictureAFF部909に入力される映像情報およびMCTF-PictureAFF部909内の各処理部の信号をピクチャ単位、またブロック単位を把握し、各処理部での処理に必要な信号の位置などの制御情報を出力する機能を有する。
【００７１】
ピクチャ分割部1403は、映像情報およびピクチャ/ブロック管理部1402から出力される制御情報を入力として受け付ける機能を有する。また、入力される映像情報からLピクチャとHピクチャをわけ、Lピクチャを入力切り替え部1404に出力し、Hピクチャを逆適応的更新処理部1411および逆適応的予測処理部1407へ出力する機能を有する。
【００７２】
入力切り替え部1404は、ピクチャ分割部1403から出力されるLピクチャおよび逆適応的予測処理部1407から出力される信号を入力として受け付ける機能を有する。逆MCTF-PictureAFFにおける最初の時間方向帯域合成では、入力されるLピクチャを、2回目以降の処理では逆適応的予測処理部1407より出力される信号を逆適応的更新処理部1411へ出力する機能を有する。現在の逆MCTF-PictureAFF部909の処理が1回目であるか、2回目以降であるかは、ピクチャ/ブロック管理部1402より出力される制御情報を用いて判断する。
【００７３】
逆適応的更新部1411は、ピクチャ分割部1403から出力されるHピクチャ、入力切り替え部1404から出力される信号、切り替えフラグ、符号化モードおよびピクチャ/ブロック管理部1402から出力される制御情報を入力として受け付ける機能を有する。適応的更新部1411は、入力される符号化モードと切り替えフラグをもとに局所的な切り替えを伴った逆更新を実現するために更新用切り替え部1405および逆更新処理部1406で構成される。また、逆適応的更新した結果得られる信号を逆適応的予測処理部1407へ出力する機能を有する。
【００７４】
逆更新用切り替え部1405は、ピクチャ分割部1403から出力されるHピクチャ、切り替えフラグおよび符号化モードを入力として受け付ける機能を有する。まず、符号化モードを読み取り、注目するピクチャがピクチャ単位フィールド符号化であればスイッチを導通させる。一方、符号化モードがピクチャ単位フレーム符号化であるとき、さらに切り替えフラグを読み取り、ブロックごとに次の動作を行う。フラグが例えば0のときは、スイッチを導通させ、1の時には遮断する。逆更新用切り替え部1405は、以上に示したように、入力された情報から判断してHピクチャを逆更新処理部1406に出力するか否かの動作を行う機能を有する。
【００７５】
逆更新処理部1406は、逆更新用切り替え部1405より出力されるHピクチャ、入力切り替え部1404かり出力される信号、動き情報、符号化モード、およびピクチャ/ブロック管理部1403から出力される制御情報を入力として受け付ける機能を有する。また、Hピクチャを逆更新対象の信号の位相に合わせるように逆MCして、その結果の信号と逆更新対象の信号にフィルタ処理を行う(逆更新処理する)機能を有する。
【００７６】
ここで、本実施例の逆更新処理が従来のものと異なる点は、前述の符号化モードを考慮した逆MCを行う点である。逆更新処理では、処理対象のピクチャと時間的に前後するピクチャの3枚を1度に扱うため、逆MC時に3枚のピクチャの構成をインタレース走査構成、ピクチャ単位フレーム符号化構成、ピクチャ単位フィールド構成のいずれかに統一するようにサンプル点(画素)をメモリから呼び出すような機能を有する。また、逆更新処理部1406は、逆更新処理の結果得られる信号を逆適応的予測処理部1407へ出力する機能を有する。
【００７７】
逆適応的予測処理部1407は、ピクチャ分割部1403より出力されるHピクチャ、逆適応的更新処理部1411より出力される信号、動き情報、モード情報およびピクチャ/ブロック管理部1402から出力される制御情報を入力として受け付ける機能を有する。逆適応的予測処理部1407は、MC部1409、フィルタリング部1410、インタレース走査復元部1408から構成される。また、逆適応的予測処理結果の信号を入力切り替え部1404および逆MCTF-PictureAFF部909の外部へ出力する機能を有する。
【００７８】
MC部1409は、逆適応的更新部1411より出力される信号、符号化モード、動き情報およびピクチャ/ブロック管理部1402より出力される制御情報を入力として受け付ける機能を有する。本実施例におけるMCが従来のMCと異なる点は、前述の符号化モードを考慮した逆MCと同じ考え方で、符号化モードを考慮してMCを行う点である。逆適応的予測処理では、処理対象のピクチャと時間的に前後するピクチャの3枚を1度に扱うため、MC時に3枚のピクチャの構成をインタレース走査構成、ピクチャ単位フレーム符号化構成、ピクチャ単位フィールド構成のいずれかに統一するようにサンプル点(画素)をメモリから呼び出すような機能を有する。また、MC部1409は、MCの結果得られる信号をフィルタリング部1410へ出力する機能を有する。
【００７９】
フィルタリング部1410は、ピクチャ分割部1403より出力されるHピクチャ、MC部1409より出力される信号およびピクチャ/ブロック管理部1402より出力される制御情報を入力として受け付ける機能を有する。また、逆適応的予測処理対象のピクチャとその時間的に前後するHピクチャを用いてフィルタ処理し、その結果得られる信号をインタレース走査復元部1408へと出力する機能を有する。
【００８０】
インタレース走査復元部1408は、フィルタリング部1410から出力される信号と逆適応的更新処理部1411から出力される信号、符号化モードおよびピクチャ/ブロック管理部1402より出力される制御情報を入力として受け付ける機能を有する。また、逆適応的予測処理部1407から出力される信号と逆適応的更新処理部1411から出力される信号を、符号化モードと制御情報をもとに元のインタレース走査信号の構成を復元し、逆MCTF-PictureAFF部909の外部および入力切り替え部1404へ出力する機能を有する。
【００８１】
図６に示した構成を用いて逆MCTF-PictureAFFする手順を図７に示す。MCTF-PictureAFFは、1GOP単位で行っても複数GOPにまたがって行っても良いS1301。また、あらかじめ、ピクチャ分割部1403において入力された信号をHピクチャとLピクチャを分けておく。
【００８２】
まず、逆適応的更新処理の手順を示す。逆更新用切り替え部1405に入力される符号化モードを読み取るS1502。符号化モードがピクチャ単位フィールド符号化の場合、逆更新用切り替え部1405を導通させて、Hピクチャを逆更新処理部1406に送り、前述の符号化モードを考慮した逆MCを用いて逆更新処理を行うS1504。
【００８３】
一方、符号化モードがピクチャ単位フレーム符号化の場合、切り替えフラグを参照して逆更新用切り替え部1405をブロックごとに制御する。切り替えフラグが例えば0の時には、逆更新用切り替え部1405は導通状態、例えば1のときには切断状態(結果として逆更新処理をスキップすることになる)にする。
【００８４】
そして、逆更新用切り替え部1405より出力されるHピクチャを用いて入力切り替え部1404から出力される信号(例えばLピクチャ)を、逆更新処理部1406において前述の符号化モードを考慮した逆MCを用いた逆更新処理を行うS1503。同様に逆適応的更新処理を他の処理対象ピクチャ(同じ時間帯域分割階層)にも行うS1505。
【００８５】
次に、逆適応的予測処理の手順について説明する。逆適応的予測処理部1407のMC部1409を用いて、処理対象となるHピクチャの時間的に前後する例えばLピクチャに対して前述の符号化モードを考慮したMCを行うS1506。HピクチャおよびMCした信号に対してフィルタリング部1410でフィルタ処理するS1507。最後に、フィルタ処理した信号を符号化モードと制御情報をもとにインタレース走査復元部1408において元のインタレース走査信号の構成に復元するS1508。同様に逆適応的予測処理を他の逆適応的予測処理対象ピクチャ(同じ時間帯域分割階層)にも行うS1509。
【００８６】
逆MCTF-PictureAFFは、所望の時間解像度の信号をデコードするか、または、すべての階層をデコードするまで繰り返すS1510。
図８に、本発明の一実施例を適用した情報処理装置1601の一例のブロック図を示す。情報処理装置1601は、外部記憶装置1602、一時記憶装置1603、通信装置1604、入力装置1605、中央処理制御装置1606および出力装置1607で構成されており、コンピュータである中央処理制御装置1606により符号化および復号化装置の機能をプログラムにより実現させるものである。ここで、上記のプログラムは記録媒体から読み取られて中央処理制御装置1606に取り込まれても良いし、ネットワークを介して通信装置1604により受信されて中央処理制御装置1606に取り込まれても良い。
【００８７】
中央処理制御装置1606は、上記プログラムにより、図８の中央処理制御装置内に示すそれぞれの手段をハードウェアまたはソフトウェア処理にて実現する。
【図面の簡単な説明】
【００８８】
【図１】本発明の一実施例を適用した時間階層符号化・復号化装置の構成を示すブロック図である。
【図２】図１に示す装置の符号化動作を示すフローチャートである。
【図３】図１に示す装置の復号化動作を示すフローチャートである。
【図４】図１に示すMCTF-PictureAFF部の構成を示す図である。
【図５】図４に示すMCTF-PictureAFF部の動作を示すフローチャートである。
【図６】図１に示す逆MCTF-PictureAFF部の構成を示す図である。
【図７】図６に示す逆MCTF-PictureAFF部の動作を示すフローチャートである。
【図８】本発明の一実施例を適用した情報処理装置の一例を示すブロック図である。
【図９】従来の符号化・復号化装置の構成を示すブロック図である。
【図１０】図９に示す装置の符号化動作を示すフローチャートである。
【図１１】図９に示す装置の復号化動作を示すフローチャートである。
【図１２】MCTF（動き補償を伴う時間帯域分割）部の動作を説明するための図である。
【図１３】MCTF部の動作を示すフローチャートである。
【図１４】MCTF処理後の信号の例を示す図である。
【図１５】従来のインタレース走査信号の符号化を説明するための図である。
【図１６】インタレース走査信号のペアリング妨害の例を示す図である。
【符号の説明】
【００８９】
101  符号化部
102  通信回線またはメディア
103  復号化部
104  MCTF部
105  直交変換・量子化部
106  エントロピー符号化部
107  エントロピー復号化部
108  逆量子化・逆直交変換部
109  逆MCTF部
401  入力されたオリジナルの映像信号
402  予測処理を1回実施して得られるHフレーム
403  更新処理を1回実施して得られるLフレーム
404  予測処理を2回実施して得られるHフレーム
405  更新処理を2回実施して得られるLフレーム
406  予測処理を3回実施して得られるHフレーム
407  更新処理を3回実施手得られるLフレーム
601  MCTF処理後の信号の例
901  符号化部
903  復号化部
904  MCTF-PictureAFF部
906  エントロピー符号化部
907   エントロピー復号化部
909   逆MCTF-PictureAFF部
1202  入力切り替え部
1203  適応的予測処理部
1204  ペアリング妨害影響度検出部
1205  更新用切り替え部
1206  更新処理部
1207  ピクチャ/ブロック管理部
1208  ピクチャ並び替え部
1209  ME/MC部
1210  フィルタリング/モード判定部
1211  適応的更新処理部
1402  ピクチャ/ブロック管理部
1403  ピクチャ分割部
1404  入力切り替え部
1405  逆更新用切り替え部
1406  逆更新処理部
1407  逆適応的予測処理部
1408  インタレース走査復元部
1409  MC部
1410  フィルタリング部
1411  逆適応的更新処理部
1601  情報処理装置
1602  外部記憶装置
1603  一時記憶装置
1604  通信装置
1605  入力装置
1606  中央処理制御装置
1607  出力装置
【図１】
2007096415.tif 000003
【図２】
2007096415.tif 000004
【図３】
2007096415.tif 000005
【図４】
2007096415.tif 000006
【図５】
2007096415.tif 000007
【図６】
2007096415.tif 000008
【図７】
2007096415.tif 000009
【図８】
2007096415.tif 000010
【図９】
2007096415.tif 000011
【図１０】
2007096415.tif 000012
【図１１】
2007096415.tif 000013
【図１２】
2007096415.tif 000014
【図１３】
2007096415.tif 000015
【図１４】
2007096415.tif 000016
【図１５】
2007096415.tif 000017
【図１６】
2007096415.tif 000018