(57)【要約】【課題】  インターレース走査信号が時間階層符号化された符号化信号を、品質低下を防止して的確に復号できるようにする。【解決手段】  空間的なサンプルの位置が補正されたインターレース走査信号の符号化信号を復号して得た映像信号に対して、逆空間位置補正部９１１を用いて空間的なサンプルの位置を補正する。符号化側でボトムフィールドの空間位置が補正されていた場合には、ボトムフィールドを補間して位置を補正する。即ち、トップフィールドの空間的な位置（垂直方向の位置）から、インターレース走査信号として定められている正規の間隔だけずれた位置にボトムフィールドのサンプルを生成（補間）することで、インターレース走査信号を復元する。【選択図】      図１
2007043220.tif 000002
【特許請求の範囲】
【請求項１】
第1フィールドと第２フィールドとを備えた映像信号であって、前記第1フィールドと前記第２フィールドとが、垂直方向の位置は同じ位置に配置され、時間的な位置はインターレース走査信号として定められている正規の間隔ずらして配置された映像信号が時間階層符号化された符号化信号を復号する復号化手段と、
前記復号化手段により得られた復号信号に対して動き補償を伴う時間帯域合成を行う動き補償帯域合成手段と、
前記動き補償帯域合成手段の出力信号が供給され、その出力信号における前記第２フィールドに基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけ前記第１フィールドからずれた位置であり、かつ、時間的な位置が前記第２フィールドと同じ位置に、新たな第２フィールドを生成し、前記第1フィールドと前記新たな第２フィールドとを備えたインターレース走査信号を得る逆空間位置補正手段と、
を有することを特徴とする時間階層復号化装置。
【請求項２】
第1フィールドと第２フィールドとを備えた映像信号であって、前記第1フィールドと前記第２フィールドとが、垂直方向の位置は同じ位置に配置され、時間的な位置はインターレース走査信号として定められている正規の間隔ずらして配置された映像信号が時間階層符号化された符号化信号を復号する復号化手段と、
前記復号化手段により得られた復号信号に対して動き補償を伴う時間帯域合成を行う動き補償帯域合成手段と、
前記動き補償帯域合成手段の出力信号が供給され、その出力信号における前記第１フィールドに基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけ前記第２フィールドからずれた位置であり、かつ、時間的な位置が前記第１フィールドと同じ位置に、新たな第１フィールドを生成し、前記新たな第1フィールドと前記第２フィールドとを備えたインターレース走査信号を得る逆空間位置補正手段と、
を有することを特徴とする時間階層復号化装置。
【請求項３】
第1フィールドと第２フィールドとを備えた映像信号であって、前記第1フィールドと前記第２フィールドとが、垂直方向の位置は同じ位置に配置され、時間的な位置はインターレース走査信号として定められている正規の間隔ずらして配置された映像信号が時間階層符号化された符号化信号を復号する復号化ステップと、
前記復号化ステップにより得られた復号信号に対して動き補償を伴う時間帯域合成を行う動き補償帯域合成ステップと、
前記動き補償帯域合成ステップで得られた映像信号における前記第２フィールドに基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけ前記第１フィールドからずれた位置であり、かつ、時間的な位置が前記第２フィールドと同じ位置に、新たな第２フィールドを生成し、前記第1フィールドと前記新たな第２フィールドとを備えたインターレース走査信号を得る逆空間位置補正ステップと、
を有することを特徴とする時間階層復号化方法。
【請求項４】
第1フィールドと第２フィールドとを備えた映像信号であって、前記第1フィールドと前記第２フィールドとが、垂直方向の位置は同じ位置に配置され、時間的な位置はインターレース走査信号として定められている正規の間隔ずらして配置された映像信号が時間階層符号化された符号化信号を復号する復号化ステップと、
前記復号化ステップにより得られた復号信号に対して動き補償を伴う時間帯域合成を行う動き補償帯域合成ステップと、
前記動き補償帯域合成ステップで得られた映像信号における前記第１フィールドに基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけ前記第２フィールドからずれた位置であり、かつ、時間的な位置が前記第１フィールドと同じ位置に、新たな第１フィールドを生成し、前記新たな第1フィールドと前記第２フィールドとを備えたインターレース走査信号を得る逆空間位置補正ステップと、
を有することを特徴とする時間階層復号化方法。
【請求項５】
第1フィールドと第２フィールドとを備えた映像信号であって、前記第1フィールドと前記第２フィールドとが、垂直方向の位置は同じ位置に配置され、時間的な位置はインターレース走査信号として定められている正規の間隔ずらして配置された映像信号が時間階層符号化された符号化信号を復号する復号化手段と、
前記復号化手段により得られた復号信号に対して動き補償を伴う時間帯域合成を行う動き補償帯域合成手段と、
前記動き補償帯域合成手段の出力信号が供給され、その出力信号における前記第２フィールドに基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけ前記第１フィールドからずれた位置であり、かつ、時間的な位置が前記第２フィールドと同じ位置に、新たな第２フィールドを生成し、前記第1フィールドと前記新たな第２フィールドとを備えたインターレース走査信号を得る逆空間位置補正手段と、
してコンピュータを機能させるための時間階層復号化プログラム。
【請求項６】
第1フィールドと第２フィールドとを備えた映像信号であって、前記第1フィールドと前記第２フィールドとが、垂直方向の位置は同じ位置に配置され、時間的な位置はインターレース走査信号として定められている正規の間隔ずらして配置された映像信号が時間階層符号化された符号化信号を復号する復号化手段と、
前記復号化手段により得られた復号信号に対して動き補償を伴う時間帯域合成を行う動き補償帯域合成手段と、
前記動き補償帯域合成手段の出力信号が供給され、その出力信号における前記第１フィールドに基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけ前記第２フィールドからずれた位置であり、かつ、時間的な位置が前記第１フィールドと同じ位置に、新たな第１フィールドを生成し、前記新たな第1フィールドと前記第２フィールドとを備えたインターレース走査信号を得る逆空間位置補正手段と、
してコンピュータを機能させるための時間階層復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号の復号化、特に時間階層復号化（時間帯域分割階層復号化）に関する。
【背景技術】
【０００２】
従来、映像符号化において空間解像度、フレームレートおよびSNRそれぞれのスケーラビリティを実現する符号化方式が数多く提案されており、さまざまな分野でこれらの実用化がなされている。なかでも、近年、フレームレートのスケーラビリティを高い符号化効率で実現する方法として特許文献１が提案され、注目を集めている。特許文献1では、「動き補償時間ウェーブレット変換(以下MCTF，Motion Compensation Temporal Filteringと表記)」が提案されており、これは、例えば従来の画像圧縮方式であるH.264/AVC方式のようなME(Motion Estimation  動き検出)とMC(Motion Compensation  動き補償)を行った後に、時間方向にリフティング構成のウェーブレット変換を用いて帯域分割する方法である。
【０００３】
図９に従来のMCTFを用いた符号化および復号化を実現するための構成例を示す。符号化部101にはオリジナルの映像信号が入力され、符号化部101で生成されたビットストリームが通信回線またはメディアなど102を介して復号化部103に伝送される。復号化部103では供給されたビットストリームを受信してデコードし、デコード映像信号を出力する。
【０００４】
符号化部101は、MCTF部104、直交変換・量子化部105およびエントロピー符号化部106で構成される。
MCTF部104は、オリジナルの映像信号を入力として受け付ける機能を有する。そして、入力された信号に対して動き補償を伴った時間方向の帯域分割を行う。MCTF部104内部での動作の詳細については後述する。MCTF部104は、MCTFの結果得られる映像情報を直交変換・量子化部105へ出力する機能と、MCTFの結果得られる動き情報をエントロピー符号化部106へ出力する機能とを有する。
【０００５】
直交変換・量子化部105は、映像情報を入力として受け付け、直交変換して量子化し、エントロピー符号化部106へ出力する機能を有する。直交変換はDCTやアダマール変換、ウェーブレット変換などが代表例である。
【０００６】
エントロピー符号化部106は、動き情報と量子化された映像情報とを入力として受け付け、それぞれをエントロピー符号化する機能を有する。また、エントロピー符号化によって生成されたビットストリームを符号化部101の外部へ出力する機能を有する。
【０００７】
復号化部103は、エントロピー復号化部107、逆直交変換・逆量子化部108および逆MCTF部109から構成される。
エントロピー復号化部107は、符号化部101から出力されたビットストリームのうち一部またはすべてを入力として受け付け、ビットストリームを復号して得た映像情報を逆量子化・逆直交変換部108へ出力し、動き情報を逆MCTF部109へ出力する機能を有する。
【０００８】
逆量子化・逆直交変換部108は、復号された映像情報を入力として受け付け、逆量子化、逆直交変換を行って逆MCTF部109へ出力する機能を有する。
逆MCTF部109は、逆直交変換された映像情報信号、復号された動き情報を入力として受け付ける機能を有する。入力された信号を用いて、動き補償を伴った時間方向の帯域合成を行い映像信号を復元し、復号化部103の外部へ出力する機能を有する。
【０００９】
図９に示した符号化部101の構成例を用いて映像信号を符号化する手順を図１０に示す。
オリジナルの映像信号をMCTF部104において、動き補償を伴った時間方向の帯域分割を行う［S201］。手順の詳細については後述する。この結果得られた映像情報を直交変換・量子化部105に送る。動き情報は、エントロピー符号化部106に送られる。
【００１０】
MCTF部104において時間方向に帯域分割した映像情報を直交変換・量子化部105で直交変換、量子化する［S202］。直交変換、量子化した信号はエントロピー符号化部106へ送られる。
【００１１】
MCTF部104で得た動き情報と直交変換・量子化部105から出力される映像情報をエントロピー符号化部106においてエントロピー符号化し、ビットストリームを生成する［S203］。
【００１２】
図９に示した復号化部103の構成例を用いてビットストリームを復号化する手順を図１１に示す。
入力されたビットストリームの一部またはすべてをエントロピー復号化部107において復号する［S301］。復号した結果得られる映像情報を逆量子化・逆直交変換部108へ送り、復号した動き情報を逆MCTF部109に送る。
【００１３】
復号した映像情報を逆量子化・逆直交変換部108を用いて逆量子化、逆直交変換する［S302］。この結果得られる信号を逆MCTF部109へと送る。
逆直交変換された映像情報および復号された動き情報を用いて、逆MCTF部109において動き補償を伴った時間方向の帯域合成を行い映像信号を復号する［S303］。
【００１４】
MCTF部104の動作例の詳細について説明する。図１２にMCTFの一例として5/3リフティング構成のものを示す。また、MCTFの手順の流れの例を図１３に示す。ここで、オリジナルの映像信号401を例えば8フレームごとの単位(以下GOP，Group of Pictureと表記)で処理を行う［S501］。
【００１５】
図１２のS(n)フレームを処理対象フレームとした場合、S(n-1)フレームとS(n+1)フレームをS(n)フレームの位相に合わせるようにそれぞれME/MCを行う［S502］。そして、 S(n-1)フレームとS(n+1)フレームをそれぞれMCしたものとS(n)フレームにフィルタ処理する［S503］。S502およびS503の処理をここでは予測（プレディクション）処理と呼ぶ。予測処理の結果得られるフレームがH1(n)(高周波数成分に分割された)フレーム402である。この処理を連続する他の偶数フレームにも同様の処理を行う［S504］。
【００１６】
次に、S(n-1)フレームを処理対象フレームとした場合、H1(n)フレームとH1(n+2)フレームをS(n-1)フレームの位相に合わせるように逆MCして［S505］、逆MCしたH1(n)フレームとH1(n+2)フレーム、およびS(n-1)フレームにフィルタ処理をする［S506］。この処理をここでは更新（アップデート）処理と呼ぶ。更新処理の結果得られるL(n)フレーム403は時間方向の低域成分である。なお、同様の処理を他の奇数フレームに対しても行う［S507］。MCTFを繰り返し行い［S508］、時間方向に帯域分割して低域信号を取り出すことで、フレームレートの低い映像信号を生成できる。
【００１７】
ここで、MCTFを繰り返して実施する場合、図１２からわかるように、2回目のMCTFは予測処理対象フレームが偶数フレームから奇数フレームへと変わり、更新処理対象フレームが奇数フレームから偶数フレームとなり、それ以降もMCTFの回数を重ねるたびに対象フレームが変わることに注意されたい。実際に符号化するフレームは、例えば図１４に601として示すように、時間低域信号のLフレーム1枚と、残りは時間高域信号のHフレームとなる。デコード側で高レートの映像信号を再生する場合には，MCTFの逆の手順で逆更新処理および逆予測処理を繰り返し、低域信号に高域信号を合成すればよい。
【００１８】
さらに、特許文献1には、時間方向のみならず、空間方向にも例えばウェーブレットやDCTを用いてスケーラビリティを実現する方法が示されている。このことにより、デコード側ではデコーダやディスプレイなどの性能にあわせて任意の解像度およびフレームレートを選択して受信することが可能となっている。
【特許文献１】特表2004-524730号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
特許文献1は、動き補償を伴った時間方向の帯域分割であるMCTFを用いることで時間方向のスケーラブル符号化を高効率で実現している。また、高ビットレートにおいては時間方向のスケーラブル機能を利用しない場合にも高い符号化効率が得られる優れた符号化方式である。しかしながら、特許文献1においてはインターレース走査信号を対象とした検討がなされていない。インターレース走査信号を単純にMCTFした場合に2つの問題点があげられる。
【００２０】
第1の問題として、インターレース走査信号の空間位置と時間位置の関係により、厳密な意味での時間方向のスケーラブルが実現できないことがある。図１５に示すように、インターレース走査信号は1/60秒のフィールドごとに空間、時間ともに交互に各走査線が配置されている。この信号に対してME/MCを行う場合、トップフィールドとボトムフィールドをわける方法と、2つのフィールドの組み合わせで1枚のフレームを構成する方法の2通りが一般的なものの一例である。しかしながら、トップフィールドとボトムフィールドをわける方法では、それぞれのME/MCを行うためのリファレンスとの時間差が1/30秒となり、もとのインターレース走査信号の時間的な距離(1/60秒)の2倍となってしまう。一方、2つのフィールドを組み合わせて1枚のフレームを構成する方法では、片方のフィールドを1/60秒時間的な位置をずらして空間的に1枚のフレームを構成する。この場合、1枚のフレーム内ですでに1/60秒の時間差が生じてしまっている。このような観点から考えるとMCTFを用いて厳密な意味での時間スケーラビリティを実現することができない。
【００２１】
第2の問題点としてMCTFの更新処理による時間低域信号(Lフレーム)の劣化の問題がある。2枚のフィールドを組み合わせて1枚のフレームを構成する方法を用いた場合、動きの多い映像では、図１６に示すように、トップフィールドとボトムフィールドの1/60秒の時間差によって映像の輪郭部分がずれるようなペアリング妨害が生じてしまう。このような現象が起こっている領域のMC精度は低く、その結果、時間高域信号のHフレームに時間方向の高周波数成分として残ることが多い。従来のMPEG2などにおけるMCのペアリング妨害による影響はBピクチャ(厳密には異なるがMCTFにおけるHフレームに相当)内にとどまっていたが、MCTFでは、Lフレームを作成するためにHフレームを用いて更新処理を行うため、Lフレームにもペアリング妨害の影響が及んでしまう。この結果、フレームレートの低い信号(Lフレーム)のみを取り出して再生しようとすると、復号映像の品質が低くなってしまう。
【００２２】
また、従来、ME/MCを行う前に、あらかじめインターレース・プログレッシブ変換を施す方法もある。この方法を用いた場合、映像信号自体のエントロピーはほぼ変わらないが、空間解像度の増大とともに符号化対象のブロック数が増え、ブロックヘッダ等のオーバーヘッドが生じてしまうため効率的ではない。さらに、時間方向の情報を用いてインターレース・プログレッシブ変換を行った場合、第1の問題点と同様の理由で厳密な意味での時間スケーラビリティを実現できない。
【課題を解決するための手段】
【００２３】
そこで、上記課題を解決するために本発明は、以下の装置、方法、及びプログラムを提供するものである。
（１）  第1フィールドと第２フィールドとを備えた映像信号であって、前記第1フィールドと前記第２フィールドとが、垂直方向の位置は同じ位置に配置され、時間的な位置はインターレース走査信号として定められている正規の間隔ずらして配置された映像信号が時間階層符号化された符号化信号を復号する復号化手段と、
前記復号化手段により得られた復号信号に対して動き補償を伴う時間帯域合成を行う動き補償帯域合成手段と、
前記動き補償帯域合成手段の出力信号が供給され、その出力信号における前記第２フィールドに基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけ前記第１フィールドからずれた位置であり、かつ、時間的な位置が前記第２フィールドと同じ位置に、新たな第２フィールドを生成し、前記第1フィールドと前記新たな第２フィールドとを備えたインターレース走査信号を得る逆空間位置補正手段と、
を有することを特徴とする時間階層復号化装置。
（２）  第1フィールドと第２フィールドとを備えた映像信号であって、前記第1フィールドと前記第２フィールドとが、垂直方向の位置は同じ位置に配置され、時間的な位置はインターレース走査信号として定められている正規の間隔ずらして配置された映像信号が時間階層符号化された符号化信号を復号する復号化手段と、
前記復号化手段により得られた復号信号に対して動き補償を伴う時間帯域合成を行う動き補償帯域合成手段と、
前記動き補償帯域合成手段の出力信号が供給され、その出力信号における前記第１フィールドに基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけ前記第２フィールドからずれた位置であり、かつ、時間的な位置が前記第１フィールドと同じ位置に、新たな第１フィールドを生成し、前記新たな第1フィールドと前記第２フィールドとを備えたインターレース走査信号を得る逆空間位置補正手段と、
を有することを特徴とする時間階層復号化装置。
（３）  第1フィールドと第２フィールドとを備えた映像信号であって、前記第1フィールドと前記第２フィールドとが、垂直方向の位置は同じ位置に配置され、時間的な位置はインターレース走査信号として定められている正規の間隔ずらして配置された映像信号が時間階層符号化された符号化信号を復号する復号化ステップと、
前記復号化ステップにより得られた復号信号に対して動き補償を伴う時間帯域合成を行う動き補償帯域合成ステップと、
前記動き補償帯域合成ステップで得られた映像信号における前記第２フィールドに基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけ前記第１フィールドからずれた位置であり、かつ、時間的な位置が前記第２フィールドと同じ位置に、新たな第２フィールドを生成し、前記第1フィールドと前記新たな第２フィールドとを備えたインターレース走査信号を得る逆空間位置補正ステップと、
を有することを特徴とする時間階層復号化方法。
（４）  第1フィールドと第２フィールドとを備えた映像信号であって、前記第1フィールドと前記第２フィールドとが、垂直方向の位置は同じ位置に配置され、時間的な位置はインターレース走査信号として定められている正規の間隔ずらして配置された映像信号が時間階層符号化された符号化信号を復号する復号化ステップと、
前記復号化ステップにより得られた復号信号に対して動き補償を伴う時間帯域合成を行う動き補償帯域合成ステップと、
前記動き補償帯域合成ステップで得られた映像信号における前記第１フィールドに基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけ前記第２フィールドからずれた位置であり、かつ、時間的な位置が前記第１フィールドと同じ位置に、新たな第１フィールドを生成し、前記新たな第1フィールドと前記第２フィールドとを備えたインターレース走査信号を得る逆空間位置補正ステップと、
を有することを特徴とする時間階層復号化方法。
（５）  第1フィールドと第２フィールドとを備えた映像信号であって、前記第1フィールドと前記第２フィールドとが、垂直方向の位置は同じ位置に配置され、時間的な位置はインターレース走査信号として定められている正規の間隔ずらして配置された映像信号が時間階層符号化された符号化信号を復号する復号化手段と、
前記復号化手段により得られた復号信号に対して動き補償を伴う時間帯域合成を行う動き補償帯域合成手段と、
前記動き補償帯域合成手段の出力信号が供給され、その出力信号における前記第２フィールドに基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけ前記第１フィールドからずれた位置であり、かつ、時間的な位置が前記第２フィールドと同じ位置に、新たな第２フィールドを生成し、前記第1フィールドと前記新たな第２フィールドとを備えたインターレース走査信号を得る逆空間位置補正手段と、
してコンピュータを機能させるための時間階層復号化プログラム。
（６）  第1フィールドと第２フィールドとを備えた映像信号であって、前記第1フィールドと前記第２フィールドとが、垂直方向の位置は同じ位置に配置され、時間的な位置はインターレース走査信号として定められている正規の間隔ずらして配置された映像信号が時間階層符号化された符号化信号を復号する復号化手段と、
前記復号化手段により得られた復号信号に対して動き補償を伴う時間帯域合成を行う動き補償帯域合成手段と、
前記動き補償帯域合成手段の出力信号が供給され、その出力信号における前記第１フィールドに基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけ前記第２フィールドからずれた位置であり、かつ、時間的な位置が前記第１フィールドと同じ位置に、新たな第１フィールドを生成し、前記新たな第1フィールドと前記第２フィールドとを備えたインターレース走査信号を得る逆空間位置補正手段と、
してコンピュータを機能させるための時間階層復号化プログラム。
【発明の効果】
【００２４】
本発明によれば、インターレース走査信号が時間階層符号化された符号化信号を、品質低下を防止して的確に復号できる。
【発明を実施するための最良の形態】
【００２５】
以下、図面と共に本発明の実施例を説明する。
［実施例］
図１に本発明の一実施例を適用した時間階層符号化・復号化装置の構成例を示す。符号化部901にはオリジナルのインターレース走査信号が入力され、符号化部901で生成されたビットストリームが通信回線またはメディアなど102を介して復号化部903に伝送される。復号化部903では供給されたビットストリームを受信してデコードし、デコードしたインターレース走査信号を出力する。
【００２６】
符号化部901は、空間位置補正部910、MCTF部104、直交変換・量子化部105およびエントロピー符号化部106で構成される。なお、従来例と同じ機能を有する部分には図９と同一の符号を付した。空間位置補正部910が新たな構成要素である。
【００２７】
空間位置補正部910は、インターレース走査信号を入力として受け付ける機能を有する。また、インターレース走査信号の空間的なサンプルの位置を補正してMCTF部に出力する機能を有する。詳細な動作例については後述する。
【００２８】
復号化部903は、エントロピー復号化部107、逆直交変換・逆量子化部108、逆MCTF部109および逆空間位置補正部911から構成される。なお、なお、従来例と同じ機能を有する部分には図９と同一の符号を付した。逆空間位置補正部911が新たな構成要素である。
【００２９】
逆空間位置補正部911は、逆MCTF部109から出力される信号を入力として受け付ける機能を有する。また、その入力に対して空間的なサンプルの位置の補正を行ってインターレース走査信号を復元し、復号化部903の外部出力する機能を有する。詳細な動作例については後述する。
【００３０】
次に、図１に示す装置におけるインターレース走査信号の符号化手順を図２に示す。図１、２を用いてインターレース走査信号符号化の概略を説明する。
オリジナルのインターレース走査信号を空間位置補正部910を用いて空間的なサンプルの位置を補正する［S1001］。位置を補正の詳細な動作例については後述する。
【００３１】
インターレース走査信号の空間的なサンプルの位置を補正した信号をMCTF部104において、第1フィールド(例えばトップフィールド：奇数フィールド)と第2フィールド(例えばボトムフィールド：偶数フィールド)を時間的に交互に配置したまま動き補償を伴った時間方向の帯域分割を行う［S1002］。この結果得られた映像情報を直交変換・量子化部105に送る。動き情報は、エントロピー符号化部106に送られる。
【００３２】
MCTF部104において時間方向に帯域分割した映像情報信号を直交変換・量子化部105で直交変換、量子化する［S1003］。直交変換、量子化した信号はエントロピー符号化部106へ送られる。
【００３３】
MCTF部104で得た動き情報と直交変換・量子化部105から出力される映像情報とを、エントロピー符号化部106においてエントロピー符号化し、ビットストリームを生成する［S1004］。
【００３４】
図１に示した装置における復号化部903でのビットストリームを復号化する手順を図３に示す。図１、３を用いてインターレース走査信号復号化の概略を説明する。
入力されたビットストリームの一部またはすべてをエントロピー復号化部107において復号する［S1101］。復号した結果得られる映像情報を逆量子化・逆直交変換部108へ送り、復号した結果得られる動き情報を逆MCTF部109に送る。
【００３５】
復号した映像情報を逆量子化・逆直交変換部108を用いて逆量子化、逆直交変換する［S1102］。この結果得られる信号を逆MCTF部109へと送る。
逆直交変換された映像情報および復号された動き情報を用いて、逆MCTF部109において動き補償を伴った時間方向の帯域合成を行う［S1103］。
【００３６】
逆MCTF部109より出力される信号に対して、逆空間位置補正部911において空間的なサンプルの位置の補正を行ってインターレース走査信号を復元する［S1104］。
次に、符号化部901における空間位置補正部910の動作例（図２に示すS1001での動作例）について詳細に説明する。
【００３７】
空間位置補正部910は、図４(a)に示すインターレース走査信号に対して図４(c)に示すような空間位置のサンプルを抽出する。すなわち、例えばトップフィールドの空間的な位置（垂直方向の位置）と同じ位置のボトムフィールドのサンプルを得る（生成する）ことで、インターレース走査信号と同じサンプル数で空間的なずれを生じることのない1/60秒のレートの信号を生成する。これを実現するための方法であれば、フィルタ、補間関数およびマルチレートシステムなどの何れの方法を用いても良い。ただし、復号側で元のインターレース走査信号を復元するためには、採用した方法が全帯域通過型で直線位相であることが条件となる。符号化効率と画質劣化を幾分か許容できる場合には、これらの条件を満たさなくても実現可能である。
【００３８】
空間位置補正部910にマルチレートシステムを用いた場合の例を図４及び図５を用いて説明する。
まず、図４(a)に示すインターレース走査信号のボトムフィールド（図中の黒丸印）に基づいて空間補間（空間インターポレーション、単に補間とも呼ぶ）し、図４(b)に示す信号を得る［図５のS1301］。即ち、黒丸印のボトムフィールド（第２フィールド）に基づき、垂直方向の位置が白丸印のトップフィールド（第１フィールド）と同じ位置であり、かつ、時間的な位置が元のボトムフィールドと同じ位置に、新たなボトムフィールド（図中の四角印）を生成する。これにより、元のトップフィールド（図中の白丸印）と元のボトムフィールド（図中の黒丸印）と新たなボトムフィールド（図中の四角印）とを備えた図４(b)に示す映像信号を得る。
【００３９】
次に、補間したフィールドの信号のうち、新たなボトムフィールド（図中の四角印）を残し、元のボトムフィールド（図中の黒丸印）を削除するように空間間引き（空間ダウンサンプリング、単に間引きとも呼ぶ）を行う［S1302］。即ち、トップフィールド（図中の白丸印）と垂直方向において同じ位置に生成した新たなボトムフィールド（図中の四角印）を残すように間引く。
【００４０】
最後に、間引いて得た図４(c)の信号に対して、サンプル（画素）を空間的につめるように配置してサンプル間隔を変更し、図４(d)に示すような信号を得る［S1303］。
空間位置補正部910の後段のMCTF部104には、図４(d)のようにトップフィールド（第１フィールド）と新たなボトムフィールド（第２フィールド）とを時間的に交互に配置したままで入力する。この結果、ペアリングの影響なしにフィールド間(1/60秒)の時間スケーラビリティが実現できる。また、サンプル数は元のインターレース走査信号と同じであるため、プログレッシブ走査に変換するよりも高い符号化効率が期待できる。
【００４１】
なお、図４に示す例では、ボトムフィールド（第２フィールド）の空間的な位置を補正したが、トップフィールド（第１フィールド）の空間的な位置をボトムフィールドに合わせるように補正してもよい。即ち、トップフィールド（図中の白丸印）に基づき、垂直方向の位置がボトムフィールド（図中の黒丸印）と同じ位置であり、かつ、時間的な位置がトップフィールド（図中の白丸印）と同じ位置に、新たなトップフィールドを生成する。そして、元のトップフィールド（図中の白丸印）を間引くようにして、新たなトップフィールドと元のボトムフィールドとを備えた映像信号を得、その映像信号に対してサンプル間隔を変更して図４(d)と同様の信号を得るようにしてもよい。
【００４２】
次に、復号化側の逆空間位置補正部911の動作例について説明する。逆空間位置補正部911においても符号化側の空間位置補正部910と同様に実現する方法はいくつかあるが、元の信号の復元を正しく行うためには、符号化側に対応する方法を採用することが望ましい。
【００４３】
逆空間位置補正部911にマルチレートシステムを用いた場合の例を図６及び図７を用いて説明する。
まず、符号化側の空間位置補正部910で生成された図６(a)に示す信号をインターレース走査に復元するために、図６(b)に示すようにサンプル間隔を変更してサンプルを空間的に逆再配置する［S1501］。
【００４４】
次に、符号化側でボトムフィールドの空間位置が補正されていた場合、ボトムフィールドを補間して図６(c)に示す信号を生成する［S1502］。即ち、ボトムフィールド（図中の四角印）に基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけトップフィールド（図中の白丸印)からずれた位置であり、かつ、時間的な位置がボトムフィールド（図中の四角印）と同じ位置に、新たなボトムフィールド（図中の黒丸印）を補間する。これにより、トップフィールド（図中の白丸印)とボトムフィールド（図中の四角印）と新たなボトムフィールド（図中の黒丸印）とを備えた映像信号を得る。ここでいう新たなボトムフィールドとは、空間位置が補正されて符号化された信号（図６(a)の状態の信号）に対して新たなという意味である。
【００４５】
最後に、補間したフィールドの信号のうち、新たなボトムフィールド（図中の黒丸印）を残し、図６(a)の状態での元のボトムフィールド（図中の四角印）を削除するように空間間引き（空間ダウンサンプリング、単に間引きとも呼ぶ）を行い、図６(d)に示すようなインターレース走査信号を復元する［S1503］。即ち、トップフィールド（図中の白丸印)に対して、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけずれた位置に生成した新たなボトムフィールド（図中の黒丸印）を残すように間引く。
【００４６】
なお、図６に示した例では、符号化側でボトムフィールドの空間的な位置が補正されている場合であるが、符号化側でトップフィールドの空間的な位置をボトムフィールドに合わせるように補正されている場合は、トップフィールドを再配置して復元する。
【００４７】
ここで、図６(b)に示す信号が、符号化側でトップフィールドの空間的な位置をボトムフィールドに合わせるように補正されて符号化されたものとして、トップフィールドを再配置して復元する場合について説明する。
【００４８】
図６(b)に示すトップフィールド（図中の白丸印)に基づき、垂直方向の位置がインターレース走査信号として定められている正規の間隔だけボトムフィールド（図中の四角印）からずれた位置であり、かつ、時間的な位置がトップフィールド（図中の白丸印)と同じ位置に、新たなトップフィールドを補間する。これにより、トップフィールド（図中の白丸印)とボトムフィールド（図中の四角印）と新たなトップフィールドとを備えた映像信号を得る。得られた映像信号から、トップフィールド（図中の白丸印)を間引いて新たなトップフィールドとボトムフィールド（図中の四角印）とを備えたインターレース信号を復元する。
【００４９】
図８に、本発明の一実施例を適用した情報処理装置1601の一例のブロック図を示す。情報処理装置1601は、外部記憶装置1602、一時記憶装置1603、通信装置1604、入力装置1605、中央処理制御装置1606および出力装置1607で構成されている。コンピュータである中央処理制御装置1606により、上述した時間階層符号化・復号化装置の機能をプログラムにより実現させるものである。ここで、上記のプログラムは記録媒体から読み取られて中央処理制御装置1606に取り込まれても良いし、ネットワークを介して通信装置1604により受信されて中央処理制御装置1606に取り込まれてもよい。
【００５０】
中央処理制御装置1606は、上記プログラムにより、図８の中央処理制御装置内に示すそれぞれの手段をハードウェアまたはソフトウェア処理にて実現する。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施例を適用した時間階層符号化・復号化装置の構成を示すブロック図である。
【図２】図１に示す装置の符号化動作を示すフローチャートである。
【図３】図１に示す装置の復号化動作を示すフローチャートである。
【図４】図１に示す装置における空間位置補正動作を説明するための図である。
【図５】図１に示す装置における空間位置補正動作を示すフローチャートである。
【図６】図１に示す装置における逆空間位置補正動作を説明するための図である。
【図７】図１に示す装置における逆空間位置補正動作を示すフローチャートである。
【図８】本発明の一実施例を適用した情報処理装置の一例を示すブロック図である。
【図９】従来の符号化・復号化装置の構成を示すブロック図である。
【図１０】図９に示す装置の符号化動作を示すフローチャートである。
【図１１】図９に示す装置の復号化動作を示すフローチャートである。
【図１２】MCTF（動き補償を伴う時間帯域分割）部の動作を説明するための図である。
【図１３】MCTF部の動作を示すフローチャートである。
【図１４】MCTF処理後の信号の例を示す図である。
【図１５】インターレース走査信号をME/MCに対応させるための従来技術を説明するための図である。
【図１６】インターレース走査信号のペアリング妨害の例を示す図である。
【符号の説明】
【００５２】
101  符号化部
102  通信回線またはメディア
103  復号化部
104  MCTF（動き補償を伴う時間帯域分割）部
105  直交変換・量子化部
106  エントロピー符号化部
107  エントロピー復号化部
108  逆量子化・逆直交変換部
109  逆MCTF部
401  入力されたオリジナルの映像信号
402  予測処理を1回実施して得られるHフレーム
403  更新（アップデート）処理を1回実施して得られるLフレーム
404  予測処理を2回実施して得られるHフレーム
405  更新処理を2回実施して得られるLフレーム
406  予測処理を3回実施して得られるHフレーム
407  更新処理を3回実施手得られるLフレーム
601  MCTF（動き補償を伴う時間帯域分割）処理後の信号
901  符号化部
903  復号化部
910  空間位置補正部
911  逆空間位置補正部
1601  情報処理装置
1602  外部記憶装置
1603  一時記憶装置
1604  通信装置
1605  入力装置
1606  中央処理制御装置
1607  出力装置
【図１】
2007043220.tif 000003
【図２】
2007043220.tif 000004
【図３】
2007043220.tif 000005
【図４】
2007043220.tif 000006
【図５】
2007043220.tif 000007
【図６】
2007043220.tif 000008
【図７】
2007043220.tif 000009
【図８】
2007043220.tif 000010
【図９】
2007043220.tif 000011
【図１０】
2007043220.tif 000012
【図１１】
2007043220.tif 000013
【図１２】
2007043220.tif 000014
【図１３】
2007043220.tif 000015
【図１４】
2007043220.tif 000016
【図１５】
2007043220.tif 000017
【図１６】
2007043220.tif 000018