(57)【要約】  本発明は、階層化時間解析による、画像系列の符号化及び復号化の方法に関する。本発明によれば、動き補償時間フィルタリング（MCTF）が行われ、時間フィルタリングは、現行画像が、閾値を下回る、先行画像との相関レベルを有する場合に少なくとも１つの低（L）周波画像又は高（H)周波画像を得るためにイントラ・モード符号化によって置き換えられる。得られる低（L）周波ピクチャは、動き補償時間フィルタリングによって得られる画像にエネルギの点で適応させるために、後にスケール調節される。本発明は、解析の終わりに、低分解レベルの画像のイントラ符号化によって得られる画像を、画像がイントラ符号化から得られるという、高周波ピクチャに対する更なる条件で選択する工程と、少なくとも１つの、スケール調節する工程の逆の工程を伴う、選択される画像をキャリブレートする工程とを備えることを特徴とする。本発明は、時間予測を備えたビデオ圧縮に関するその適応例にも関する。
2007526704.tif 000002
【特許請求の範囲】
【請求項１】
別々の時間分解レベルで低時間周波数ピクチャ及び高時間周波数ピクチャを供給するよう連続したピクチャ対（１１）の動き補償時間フィルタリングを行う、ピクチャ群の階層化時間解析（１）を備える、ピクチャ系列を符号化する方法であって、前記解析は、特定の時間分解レベルについて、かつ、低時間周波数ピクチャ対について、動きベクトルを供給するための、先行参照ピクチャAへの現行ピクチャBの動き推定工程（８）、次いで、更に大きな分解レベルで低時間周波数ピクチャ（L）及び高時間周波数ピクチャ（H）を供給するための、前記ピクチャの動き補償時間フィルタリング（１１）を実現し、前記時間フィルタリングは、前記現行ピクチャが、閾値（１０、１５）よりも低い、先行ピクチャとの相関レベルを有する場合に少なくとも１つの低周波（L）ピクチャ又は高周波（H）ピクチャを得るようイントラ・モード（１６、１７）符号化によって置き換えられ、得られる低周波（L）ピクチャはよって、前記動き補償時間フィルタリングによって得られるピクチャにエネルギ・レベルで適応させるようスケーリングされ、前記低周波ピクチャと、解析の最後に得られる最終高周波分解ピクチャとのうちで、
低分解レベルでのピクチャのイントラ符号化によって得られるピクチャを、ピクチャ自体がイントラ符号化から得られるという、前記高周波ピクチャに対する更なる条件で選択し、
少なくとも１つの、前記スケーリングする工程の逆工程を行うことによって、前記選択されるピクチャをキャリブレートすることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、行われる逆工程の数は、高周波選択ピクチャを伴う場合に、選択されるピクチャに達するよう、低周波ピクチャ（L）の連続したイントラ符号化処理の数に相当し、該数を、低周波選択ピクチャ（L）を伴う場合に１増加させることを特徴とする方法。
【請求項３】
請求項２記載の方法であって、低L周波画像又は高H周波画像の計算のための、前記現行ピクチャと後続ピクチャ対の後続ピクチャ（１６）との間の、前記現行ピクチャと先行ピクチャとの間の相関が閾値（１０）よりも低い場合の時間フィルタリングを備え、前記現行ピクチャと、前記後続ピクチャとの間の相関が閾値（１５）よりも大きい場合に、他方のHピクチャ又はLピクチャはイントラ符号化（１６）によって得られ、選択工程の場合、前記フィルタリング処理を前記イントラ符号化と一致させるが、前記時間フィルタリングと一致させないことを特徴とする方法。
【請求項４】
請求項３記載の方法であって、ピクチャ番号を前記ピクチャ群の各ピクチャに割り当て、番号を付した前記ピクチャを、番号毎にカウンタを帰することによって分解中に監視し、前記カウンタは各工程で更新され、
低周波ピクチャ（L）がイントラ・モードで得られる都度、前記カウンタが増やされ、
高周波ピクチャ（H）がイントラ・モードで得られる都度、又は後続ピクチャによる時間フィルタリング中に、前記カウンタは変わらない状態に留まり、
先行ピクチャによる動き補償時間フィルタリングによってピクチャが得られる都度、前記カウンタがリセットされることを特徴とする方法。
【請求項５】
請求項１記載の方法であって、連続した２つのピクチャA及びBの前記動き補償時間フィルタリング中に前記高周波ピクチャH及び低周波ピクチャLが
【数１】
2007526704.tif 000017
の演算から得られ、
MCは、ピクチャHのBからAへの動きベクトル・フィールドによる動き補償に相当することを特徴とする方法。
【請求項６】
請求項５記載の方法であって、前記ピクチャL及びHはイントラ符号化から
【数２】
2007526704.tif 000018
によって得られ、前記ピクチャH及びLは、
【数３】
2007526704.tif 000019
によって、Hの場合は後続ピクチャによるフィルタリングにより、かつ、Lの場合はイントラ符号化により得られ、
MCは、ピクチャCのBからCへの動きベクトル・フィールドによる動き補償に相当することを特徴とする方法。
【請求項７】
請求項１記載の方法であって、時間解析（１）によって得られる、前記キャリブレートされたピクチャは次いで空間解析（３）によって処理されることを特徴とする方法。
【請求項８】
請求項１記載の方法であって、前記相関レベルは、接続された、すなわち、動きベクトルによって接続された接続画素数を考慮に入れることによって計算されることを特徴とする方法。
【請求項９】
請求項１記載の方法による、符号化画像系列の復号化方法であって、復号化対象の選択ピクチャの逆キャリブレーション工程（２１）を実施し、前記ピクチャの前記選択及び逆工程数は、復号化対象の前記ピクチャに関連した情報の要素によって変わってくることを特徴とする復号化方法。
【請求項１０】
請求項４記載の方法による、符号化画像系列の復号化方法であって、復号化対象の選択ピクチャの逆キャリブレーション工程（２１）を実施し、前記選択及び逆工程数は、前記符号化中に前記ピクチャに割り当てられたカウンタの値の関数であることを特徴とする方法。
【請求項１１】
前記動き補償時間フィルタリング及び前記イントラ符号化を用いた時間解析回路（１）を備えた、請求項３記載の方法の実施のための符号器であって、前記回路は、前記低周波ピクチャと、解析の最後に得られる最終高周波分解ピクチャとのうちで、低分解レベルでのピクチャのイントラ符号化によって、又は、ピクチャ対のピクチャと、前記低分解レベルでの後続ピクチャ対の後続ピクチャとの間の時間フィルタリングによって得られるピクチャを、前記高周波ピクチャの場合、ピクチャ自体がイントラ符号化から得られ、選択ピクチャについて前記スケーリング工程の少なくとも１つの逆工程を行うという更なる条件で選択することを特徴とする符号器。
【請求項１２】
時間合成回路（２１）を備える、請求項１記載の方法による、画像系列の復号化のための復号器であって、前記回路は、復号化対象のピクチャの逆キャリブレーションを行う手段を備え、画像の選択及び逆キャリブレーション数は、復号化対象のピクチャに関連し、復号器によって受信される情報要素によって変わってくることを特徴とする復号器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償時間フィルタリングを利用した階層化時間解析によって符号化されたピクチャ系列のビデオの符号化及び復号化の方法に関する。
【背景技術】
【０００２】
本願の範囲は、「スケーラブル」としても知られている空間スケーラビリティ図及び/又は時間スケーラビリティ図に基づいたビデオ圧縮の範囲である。これには、例えば、動き補償時間フィルタリングを備える2D+tウェーブレット符号化が関係する。
【０００３】
ハイブリッド符号化標準（MPEG-1、MPEG-2、MPEG-4、h264など）では、2D+tサブバンド符号化図（MC-EZBC（動き補償埋め込みゼロ・ブロック・コンテキスト）の略）など）の大半におけるように、符号化システムの第１のステップは、画像内の空間冗長度を利用する前に、連続した画像間の時間冗長度を利用することから成る。
【０００４】
図１は、従来技術によるビデオ符号器の図を示す。
【０００５】
ビデオ信号が時間解析回路１に送信される。動き推定回路２をこの第１の回路に接続して、符号器によって受信される２つの画像間の動きを推定する。動き情報は、例えば、動きベクトル・フィールドの形式で、回路１に送信され、符号化回路６に送信される。回路１の出力は、ピクチャの周波数係数をテクスチャから抽出する空間解析回路３に送信される。こうした係数は次いで、エントロピ符号化回路４によって量子化され、符号化される。符号化情報及び動き情報はパケット化回路すなわちパケット化装置５に送信され、このパケット化装置５はビデオ・データをビデオ・パケットの形式で送信してビデオ・データ・フローを構成する。
【０００６】
時間解析回路１は、ハイブリッド図の場合には動き補償時間予測を行い、又はサブバンド符号化図の場合には動き補償時間フィルタリングを行う。時間予測を備えた符号化アルゴリズムは、動き補償を処理して、後に符号化処理で用いられることになる予測ピクチャを生成することから成る。こうしたアルゴリズムは、同様な原理に基づいている。符号化する対象のピクチャは、参照ピクチャと呼ばれる、先行して符号化された1つ又は複数のピクチャから予測される。このことは、ビデオMPEG標準において、予測（P）ピクチャ、及び双方向又は双方向予測（B）ピクチャの場合にあてはまる。予測は、こうした参照ピクチャ、及び現行ピクチャに関連した動きベクトルからの動き補償処理を行うことから成る。次いで符号化されるのは、予測の残差、すなわち、現行ピクチャと時間予測ピクチャとの間の差である。動きは例えば、画素ブロック、及び、ブロック毎に行われる動き補償によって表される。
【０００７】
空間解析回路３は、ウェーブレット分解又は離散コサイン変換を実現する。回路４のエントロピ符号化は、VLC（可変長符号化の略称）タイプの符号化、又は算術符号化であり得る。
【０００８】
パケット化回路の機能は、エントロピ符号化回路及び動きフィールド符号化回路のそれぞれからのテクスチャ情報及び動き情報を、それらの空間周波数及び時間周波数によって、かつそれらのサイズ、例えばビットプレーン符号化手法におけるそれらの重みによって、一貫した部分集合に切り分けることである。よって、得られる2値フローは、分解能、フィールド周波数及び忠実度において無関係にスケーラブルである。
【０００９】
推定される動きフィールドは、ソースの分解能に相当する。フィルタリングによるものであっても予測によるものであっても、符号器の動き補償工程はよって、フル分解能ピクチャに対して実行される一方、復号器では、動きフィールドが再スケーリングされた、低分解能のピクチャに対して実行することが可能である。
【００１０】
MCTFの略称によっても知られている動き補償時間フィルタリングの主目的は、符号化に最小ビットを要する高周波ピクチャHを生成することである。別の制約は、接続されていない、すなわち、動きベクトルによって接続されていない画素の数をできる限り削減することである。これらの２つの局面は動きフィールドの品質に直接依存する。フィルタリングされた情報は、フィルタリングに用いられる動きが、好適な品質のものであるので、いやが上にも関連付けられている。
【００１１】
場合によっては、動きのこうした品質は満足のいくものでない（例えば、動きが複雑すぎる場合、大き過ぎる場合、又は、シーン・カットが存在する場合）。このことは、結果として、高周波ピクチャHにおける余剰エネルギ、低周波ピクチャLにおいて接続されていないかなりの数の画素、最後に、高符号化コスト、及び、視覚品質の復号化ピクチャ群内での劣悪な分布をもたらす。
【００１２】
適応的GOPを用いることによってこの課題を考慮に入れることが可能になる。GOPのサイズを、非接続画素の割合によって動的に適応させる。ピクチャにおいて接続されていない合計画素数が、分解レベルIで行われる動き推定中に例えば、60〜75％程度、所定の閾値よりも大きい場合、サブバンドへの時間分解を停止させる。当初のGOPのサイズは２つのGOPを得るよう修正され、第１のGOPのサイズは自動的に２Iになることを余儀なくされる。しかし、この解決策は可変サイズのGOPを用いることを必要とし、そうしたGOPの管理は複雑である。
【００１３】
別の解決策は、時間分解中にイントラ・モード符号化などの他の符号化モードを駆使することを備える。非接続画素が多数ある場合、イントラ符号化が行われる。しかし、ピクチャのダイナミクスを、MCTFフィルタリングによって得るピクチャのダイナミクスに適応させなければならず、このことは、更なる符号化コストにつながる。このことは、MCTFモードによって符号化されたピクチャのマイナス材料になり、よって、再構成ピクチャ系列の全体品質のマイナス材料になる。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明は前述の欠点の解決を目的とする。
【課題を解決するための手段】
【００１５】
本発明の目的の１つは、別々の時間分解レベルで低時間周波数ピクチャ及び高時間周波数ピクチャを供給するよう連続したピクチャ対の動き補償時間フィルタリングを行う、ピクチャ群の階層化時間解析を備える、ピクチャ系列を符号化する方法であり、この解析は、特定の時間分解レベルについて、かつ、低時間周波数ピクチャ対について、動きベクトルを供給するための、先行参照ピクチャAへの現行ピクチャBの動き推定工程、次いで、更に大きな分解レベルで低時間周波数ピクチャ（L）及び高時間周波数ピクチャ（H）を供給するための、これらのピクチャの動き補償時間フィルタリングを実現し、上記時間フィルタリングは、現行ピクチャが、閾値よりも低い、先行ピクチャに対する相関レベルを有する場合に少なくとも１つの低周波（L）ピクチャ又は高周波（H）ピクチャを得るようイントラ・モード符号化によって置き換えられ、得られる低周波（L）ピクチャはよって、上記動き補償時間フィルタリングによって得られるピクチャに上記エネルギ・レベルで適応させるようスケーリングされ、低周波ピクチャと、解析の最後に得られる最終高周波分解ピクチャとのうちで、
このピクチャ自体がイントラ符号化から得られるという、高周波ピクチャに対する更なる条件で、低分解レベルでのピクチャのイントラ符号化によって得られるピクチャを選択し、
スケーリング工程の少なくとも１つの逆工程を行うことによって選択されるピクチャをキャリブレートする。
【００１６】
行われる逆工程の数は、高周波選択ピクチャを伴う場合に、選択されるピクチャに達するよう、低周波ピクチャ（L）の連続したイントラ符号化処理の数に相当し、低周波選択ピクチャ（L）を伴う場合にこの数を１増加させる。
【００１７】
特定の実施形態によれば、方法は、低L周波画像又は高H周波画像の計算のための、現行ピクチャと先行ピクチャとの間の相関が閾値よりも低い場合の、現行ピクチャと後続ピクチャ対の後続ピクチャとの間の時間フィルタリングを備え、現行ピクチャと、この後続ピクチャとの間の相関が閾値よりも大きい場合に、他方のHピクチャ又はLピクチャはイントラ符号化によって得られ、選択工程の場合、このフィルタリング処理をイントラ符号化と一致させるが、時間フィルタリングと一致させない。
【００１８】
特定の実施形態によれば、方法は、ピクチャ番号をピクチャ群の各ピクチャに割り当て、番号毎にカウンタを帰することによって、分解中に、番号を付したこれらのピクチャを監視する。
【００１９】
低周波ピクチャ（L）がイントラ・モードで得られる都度、カウンタが増やされる。
【００２０】
高周波（H）ピクチャがイントラ・モードで得られる都度、又は後続ピクチャによる時間フィルタリング中に、カウンタは変わらない状態に留まる。
【００２１】
先行ピクチャによる動き補償時間フィルタリングによってピクチャが得られる都度、カウンタがリセットされる。
【００２２】
本発明は、上記方法によって符号化されたピクチャの系列の復号化手順にも関し、復号化するための選択ピクチャの逆キャリブレーション工程を行うことを特徴とし、ピクチャの選択及び逆工程の数は、復号化する対象のピクチャに関連した情報によって変わってくる。この情報は、例えば、符号化中にピクチャに割り当てられるカウンタの値である。
【００２３】
本発明は、動き補償時間フィルタリング及びイントラ符号化を用いた時間解析回路を備えた、上記方法の実施のための符号器にも関し、回路は、低周波ピクチャと、解析の最後に得られる最終高周波分解ピクチャとのうちで、低分解レベルでのピクチャのイントラ符号化によって、又は、現行ピクチャと、低分解レベルでの後続ピクチャとの間の時間フィルタリングによって得られるピクチャを、高周波ピクチャの場合、このピクチャ自体がイントラ符号化から得られ、選択ピクチャについて少なくとも１つのスケーリング工程を行うという更なる条件で選択する。
【００２４】
本発明は、時間合成回路を備える、請求項１記載の方法によって符号化されたピクチャ系列の復号化のための復号器にも関し、回路は、復号化対象のピクチャの逆キャリブレーションを行う手段を備え、ピクチャの選択及び逆キャリブレーション数は、復号化対象のピクチャに関連し、復号器によって受信される情報アイテムによって変わってくる。
【００２５】
イントラ・タイプのピクチャのこの逆スケーリング処理のおかげで、MCTFモードによって符号化されるピクチャは不利にされない。イントラ・モードで符号化されるか、又はMCTFモードによって符号化されるイントラ・ピクチャを備える全体GOP上のピクチャの品質の分布が改善される。復号器に送られる符号化モード情報によって、イントラ・ピクチャを再キャリブレートしてピクチャの合成を行うことが可能になる。
【００２６】
時間フィルタリングは条件的に動きの品質によって行われ、サブバンドへの時間分解は最後のレベルまで行うことができる。動きの品質に係わらず、GOP構造が維持される。GOPのサイズを一定に維持し、シーン・カットがGOPの中央で生じてもビットレート及び処理の管理を容易にすることが可能である。可変サイズのGOPが用いられる場合、ピクチャ品質が改善される。
【発明を実施するための最良の形態】
【００２７】
具体的な他の特徴及び利点は、以下の記載においてより明確になるものであり、上記記載は、非限定例として備え、添付図面を参照する。
【実施例】
【００２８】
図２は、太線で示す１６のピクチャをこの例では備えるGOPの4レベル分解を備えた、時間解析回路４によって行われる動き補償時間フィルタリング処理を要約で示す。
【００２９】
使用されるフィルタリング・モードは「リフティング」と呼ばれる。長い線形フィルタを用いた、ウェーブレット符号化の複素フィルタリングを用いる代わりに、本願の例では、フィルタリングは16のピクチャの群に対して行われることになり、このフィルタリング方法は、限定された長さのフィルタ（例えば、サンプルを２ずつフィルタリングしようとする場合、2個）を用いることによってフィルタを既知の方法で「因数分解する」ことから成り、このフィルタリングは分解レベル毎に更新される。よって、動きの方向におけるフィルタリングがピクチャ対に対して行われる場合を考えてみる。GOPの各対に対する低周波フィルタリング及び高周波フィルタリングはそれぞれ、第１の時間分解レベルで8個の低時間周波数画像(t-L)と、８個の高時間周波数画像（t-H）とを生成する。
【００３０】
低時間周波数画像は次いで、やはり同じ方法によって分解される。これらのピクチャの低域通過フィルタリングは４つの新たな低時間周波数ピクチャt-LLを供給し、同じこれらのピクチャの高域通過フィルタリングは４つの高時間周波数ピクチャt-LHを供給する。第３の分解レベルは、２つの低時間周波数ピクチャ（t-LLL）及び２つの高時間周波数ピクチャ（ｔ−LLH）を供給する。第４のレベル及び最後のレベルは、低時間周波数ピクチャt-LLLL及び高時間周波数ピクチャt-LLLHを供給する。
【００３１】
この時間分解は、１６ピクチャのGOP毎に1つのt-LLLLピクチャ、１つのt-LLLHピクチャ、２つのｔ−LLHピクチャ、４つのt-LHピクチャ及び８つのt-Hピクチャをよって生成する5バンドの時間分解である。t-Lピクチャ、t-LLピクチャ、t-LLLピクチャ及び当然、元のピクチャは、ダウンストリーム符号化の場合、無視されるが、それは、そうしたピクチャが、無相関化されたピクチャを各レベルで供給するよう、サブバンドへの分解の元にあるからである。この分解によって、GOP群の平均を表し、低エネルギ高時間周波数ピクチャのエネルギ及び４つのピクチャ・レベルが集中している、低時間周波数t-LLLLを備えた有用なピクチャを生成することによる、新たなエネルギ分布が可能になる。サブバンドへの空間分解のために空間解析回路に送られるのはこれらのピクチャである。
【００３２】
フィルタリングを行うために、動きフィールドが、フィルタリング対象の各ピクチャ対間で推定され、これはレベル毎に行われる。これは、動き推定器７の機能である。
【００３３】
実用的な方法で、AからBへの、又はBからAへの動きベクトル・フィールドのみが計算される。他方の動きベクトル・フィールドは、動きベクトルに割り当てられず、逆動きベクトル・フィールドにおけるホールに相当する第１の、非接続生成画素から導かれる。
【００３４】
フィルタリング処理を元のGOPの各ピクチャ対に対して行って、第１の時間分解能レベルを得る。上記処理を、低時間周波数帯の結果として生じるピクチャに対して数回繰り返して以下の時間分解能レベルを得る。１６ピクチャのGOPの場合、当該処理は、L、  H、  LL、LH、  LLL、  LLH、  LLLL及びLLLHと呼ばれる８つの時間周波数帯を生成する。
【００３５】
前述のように、非接続画素の課題によって、時間フィルタリング中のより劣悪な無相関化と、よって、データの劣悪な圧縮とをもたらす。これは、動き推定処理が行われるGOPの分解レベル毎に行うことが可能である。
【００３６】
本発明の一実施例によれば、モード切り換え回路を実施して時間解析を制御し、回路は、動き推定の適切さによって制御される。多数の非接続画素が動き推定処理中に得られる場合を管理することが可能である。
【００３７】
図４は、前述の回路を備えた装置を示す。同じ参照符号を用いて図１と同様な回路を表し、この回路は再び説明しないものとする。
【００３８】
参照番号２を付した動き推定回路から来る動き情報は、参照番号７を付したモード切り換え回路に送られる。この回路を時間解析回路１に接続して、動き情報、及び使用するための符号化モードについての情報をそれに送る。
【００３９】
図４は、切り換え回路の処理のために実施されたアルゴリズムの単純化された流れ図を示す。
【００４０】
７の参照番号を付した工程において利用可能な、特定の時間分解レベルの、連続した２つのピクチャがA及びBである。動きは、例えば、ピクチャBからピクチャAへ推定され、ピクチャAがよって参照ピクチャである。８の参照番号を付した工程は、このピクチャBからピクチャAへの動きを推定する。後続工程９は、ピクチャの画素の数、すなわち、動きベクトルが割り当てられない画素の数に対する、参照ピクチャAにおける非接続画素の割合P１を計算する。参照番号１０を付した後続工程は、この割合P1を、所定の値である閾値S1と比較する。この値は、例えば、２０〜２５％の程度の割合である。
【００４１】
非接続画素の数がこの値以下の場合、動きベクトル・フィールドは正しいものとみなされ、次の工程は工程１１であり、工程１１は標準的なフィルタリング処理を行う。
【００４２】
低周波ピクチャ及び高周波ピクチャがよって計算される。
【００４３】
【数１】
2007526704.tif 000003
上記フィルタリングと同等のこのフィルタリングは、ピクチャHをまず計算することから成る。このピクチャはピクチャB及び動き補償ピクチャAの2点間の差から得られる。よって、特定の値（必要な場合補間され、Aにおける変位ベクトルによって指し示される）が画素Bより除去され、動きベクトルはピクチャBからピクチャAへの動き推定中に計算される）。
【００４４】
ピクチャLは次いで、ピクチャAを逆動き補償ピクチャHに加算することにより、もうピクチャBではなく、ピクチャHから導かれる。
【００４５】
【数２】
2007526704.tif 000004
はピクチャ（H）の動き「逆補償」に相当する。よって、Aの画素に特定の値（必要な場合補間され、ピクチャHにおいて、BからAへの変位ベクトルの起点に位置し、A画素を指し示す）を加算する。
【００４６】
非接続画素の割合が閾値S1より大きい場合、動きベクトル・フィールドは適切でないものとみなされ、工程１２が工程１０に続く。
【００４７】
処理される時間レベルで、ピクチャCがピクチャBの後に存在する場合（検査は工程１２で行われる）、このピクチャCは、考えられる新たな参照ピクチャになり、動きがピクチャBからピクチャCへ推定される（工程１３）。
【００４８】
処理される現行レベルでピクチャB後にピクチャが存在しない場合、工程１７が工程１２に続く。この工程は、ピクチャB及びAを、ピクチャAに対する適切なスケール係数によってイントラ・モードに符号化される。
【００４９】
【数３】
2007526704.tif 000005
工程１３に後続する工程１４は、BとCとの間で計算される動きベクトル・フィールドについてピクチャCにおける非接続画素の割合P2を計算する。
【００５０】
後続工程１５は、この割合P２を、所定の値である閾値S２と比較する。この値は、例えば、２０〜２５％程度の割合である。
【００５１】
非接続画素の数がこの値以下の場合、動きベクトル・フィールドは正しいものとみなされ、次の工程は工程１６であり、工程１６は標準的なフィルタリング処理を、このピクチャによって行う。これは、後方予測モードである。低周波ピクチャ及び高周波ピクチャがよって計算される。
【００５２】
【数４】
2007526704.tif 000006
ピクチャAの情報がよってピクチャLにおいて見出され、ピクチャHのエネルギは、単に、ピクチャBを選ぶか又はこれを先行非相関ピクチャからフィルタリングすることによるのではなく、フィルタリングのための将来においてこの参照を得ることによって削減される。低エネルギの高周波画像がよって得られる。
【００５３】
非接続画素の割合が閾値S２よりも低い場合、工程１７が工程１２に続く。この工程１７はピクチャB及びAをイントラ・モードで、MCTFモードや先行後方予測モードにおけるようにピクチャAに適切なスケール係数によって符号化する。
【００５４】
【数５】
2007526704.tif 000007
逆（ピクチャAを高周波ピクチャ（H=A）とし、ピクチャBを低周波ピクチャとすることから成る）も当然可能である。例えば、最小エネルギのピクチャをLの場合に選ぶことが可能である。
【００５５】
工程１１、１６及び１７はよって、モード切り換え回路によって判定される符号化モードであり、情報は時間解析回路に送られる。
【００５６】
モードの選択はここでは完全なピクチャについて行われる。ピクチャのブロック毎又はマクロブロック毎にモードの選択を行うことも当然考えられる。
【００５７】
スケール係数と呼ばれる項
【００５８】
【数６】
2007526704.tif 000008
（例えば、「実」ピクチャL（すなわち、MCTFフィルタリングによって得られる）に関する）は、MCリフト・フィルタリングによる。ピクチャAのイントラ・モード符号化にも帰されるこのスケール係数は、ピクチャのレベルで同じエネルギ値を得ることを可能にし、次の時間レベルの動き推定中のマッチングを容易にすることを目的とし、ピクチャはその場合、エネルギの点で均一である。
【００５９】
上記要素フィルタリング段は、特定の時間レベルのピクチャ対毎に実現され、これは、動きベクトル・フィールドの適切さにかかわらず、モードにかかわらず、GOPの時間ピラミッドの頂点までの時間レベル毎に実現される。これは、例えば、その時点まで隠れていた領域を明らかにする、カメラのすばやい動きに相当する偽シーン・カットによって影響されないことが考えられることを意味する。
【００６０】
処理の終わりに、特定の分解レベルにおいてイントラ・モードで符号化されており、後続時間分解レベルでMCTFモード又は後方予測モードの参照ピクチャ又は予測ピクチャとして用いられていないピクチャA及びBは、これらのモードにその画素が用いられている最後のレベルに一致するよう再スケーリングされる。
【００６１】
【数７】
2007526704.tif 000009
FiはピクチャA及びBのフィルタリングから生じるピクチャL又はHであり、
【００６２】
【数８】
2007526704.tif 000010
はこのFiを再スケーリングしたものである。
【００６３】
スケール係数に施す指数nはモードによって以下の式によって表される。
【００６４】
‐MCTFモード
【００６５】
【数９】
2007526704.tif 000011
‐予測モード又はイントラ符号化モード
【００６６】
【数１０】
2007526704.tif 000012
nの値はよって、L又はHの計算にそれぞれ用いられる、先行分解レベルのピクチャA又はBに帰されるnの値によって、特定の分解レベルでの画像L又はHについて計算される。
【００６７】
よって、ピクチャA及びBをMTCFモードによって処理してピクチャL及びHをもたらす場合、そのレベルn（A）及びn（B）にかかわらず、これらのピクチャL及びHに帰されるレベルnをゼロに至らせる。
【００６８】
予測モード又はイントラ・モードを用いてピクチャL及びHをピクチャA及びB（レベルn(A)及びn（B）を割り当てられた）から供給する場合、ピクチャLのレベルは、n(A)のレベルを１増やしたレベルであり、ピクチャHのレベルはピクチャB（n(B)）のレベルである。
【００６９】
図２を参照することによって、イントラ符号化が２つのピクチャt-LLLについて第３の分解レベルでまず行われ、次いで第４のレベル及び最後のレベルで行われることにつながるGOPの第４のピクチャ後のシーン・カットを考えた場合、n(L)の値はピクチャt-LLLLの場合、２に等しく、n(H)の値はピクチャt-LLLHの場合、１に等しい。よって、スケール係数によって2度ピクチャt-LLLLを除算することによって、このピクチャがMCTFモードに用いられる最後のレベルに相当するピクチャt-LLを見出す。
【００７０】
GOPの元のピクチャのそれぞれに番号を割り当てることが考えられる。番号は次に、分解されたピクチャに帰され、ピクチャAのフィルタリングはｓの番号が付され、ピクチャBはtの番号が付され、ｓの番号が付された低周波ピクチャがもたらされ、LはAに相当し、高周波ピクチャはtの番号が付され、HはBに相当する。例えば、レベルt-LLLL、t-LLLH、t-LLHのピクチャについて得られる番号は、１、９、５及び１３である。分解レベル毎に、低周波ピクチャLをもたらすためにこのピクチャがイントラ符号化又は予測符号化を経る場合に、先行レベルのピクチャiに割り当てられるレベルnの増加から成る。高周波画像Hをもたらすためにこのピクチャがイントラ符号化又は予測符号化を経る場合、カウンタは変わらない状態に留まる。このピクチャがMCTF符号化を経る場合、カウンタはリセットされる。GOPの元のピクチャの各々に帰される値nがリセットされる。計算が、最後のレベルまで各分解レベルで行われる。
【００７１】
実際に、分解ピクチャに帰された値nは、
MCTFフィルタリングによって得られる最後のピクチャの場合、値ゼロに相当し、
イントラ符号化によって得られる最終低周波ピクチャの場合、同じ番号のピクチャに対して実現されるイントラ符号化処理の数（１、増やされる）に相当し、
イントラ符号化によって得られる高周波ピクチャの場合、同じ番号のピクチャに対して実現される連続イントラ符号化処理の数（この高周波ピクチャをもたらす）に相当し、
後続ピクチャによる時間フィルタリングから得られる高周波ピクチャの場合、同じ番号のピクチャに対して実現される連続イントラ符号化処理の数（１、増やされる、この時間フィルタリングの目的であるピクチャをもたらす）に相当する。
【００７２】
この最後の再スケーリング工程は、変換されたピクチャ（「実の」時間サブバンドではない、すなわち、MCFフィルタリングによって得られたサブバンド・ピクチャ）のダイナミクスを、こうした画像の重みを削減することによってキャリブレートすることを目的とする。
【００７３】
キャリブレートされたサブバンド・ピクチャは、２つのピクチャA及びBの合成に利用されない（そのコストが削減される理由）ピクチャである。
【００７４】
ビットレート割り当てはパケット化装置５によって実現される。時間変換の直交性も、その正規化も、別々のピクチャ間でビットレート割り当てが最適であるように重要な点である。標準的なMCTFフィルタリング中に自然に実現されることは、後方予測モードやイントラ符号化モードなどの他のモードが実施される場合に問題になり得る。符号化工程中に、低周波画像が、時間レベルのダイナミクスに達するよう（すなわち、ＭＣＴＦフィルタリングによって得られるピクチャと同様なエネルギのピクチャを得るよう）ピクチャAをスケール係数によって乗算することによってイントラ・モード又は予測モードで得られる場合、この重み付けは、ビット割り当てのレベルでもう必要でない。逆に、例えば、イントラ・モード又は予測モードで符号化されたピクチャに対して与える重みを少なくすることによって、MCTFフィルタリングによって得られる「実の」低周波ピクチャ（適切な参照ピクチャ）を優先するよう特別な留意を払わなければならない。実際に、上記でみられたような実の低周波ピクチャを、階層ピラミッドによる、２つのピクチャA及びBの低分解レベルでの再構成のために復号器で用いられ、BはAの関数である（イントラ・モード又は予測モードで符号化されたピクチャの場合、該当しない）。
【００７５】
本発明は、上記方法によって符号化されたデータを用いる復号器にも関する。図５はそうした復号器を表す。
【００７６】
本明細書及び特許請求の範囲記載の方法によって符号化されるピクチャに相当する2値フローは、復号器入力に送られる。これらは並列にエントロピ復号化回路１８の入力、及び動き復号化回路１９の入力に送られる。エントロピ復号化回路は、空間合成回路２０及び時間合成回路２１に順次接続される。後者は、動き情報を動き復号化回路から受ける。時間合成回路の出力は後フィルタリング回路２２の入力に接続され、後フィルタリング回路の出力は復号器出力である。
【００７７】
ビットストリームはよって、エントロピ復号化回路１８によって処理され、エントロピ復号化回路１８は、エントロピ符号化回路の逆処理を行い、時空間ウェーブレット係数及びフィルタリング・モードを復号化する。
【００７８】
動き復号化回路１９は動きに関する情報をフローから復元し、復号化して、時間合成に必要な動きフィールドを回路２１に送る。
【００７９】
空間合成回路２０は別々の時間サブバンドに相当するピクチャを再構成する。再構成されたサブバンド・ピクチャを次いで、適切なスケール係数によってスケーリングして時間合成を行う。このスケーリングは符号器に送られ、元のGOPの分解中に用いられるピクチャに関するモード情報によって行われ、それによって、nの値を別々のピクチャに割り当てることが可能になる。
【００８０】
【数１１】
2007526704.tif 000013
次に、時間合成回路２１は、所要時間レベルまで変換されたピクチャをそのモードによって再構成する。
【００８１】
‐MCTFモード
【００８２】
【数１２】
2007526704.tif 000014
‐後方予測モード
【００８３】
【数１３】
2007526704.tif 000015
‐イントラ符号化モード
【００８４】
【数１４】
2007526704.tif 000016
動き補償に必要な動き情報は、動き復号化回路から来るものである。時間合成は、復号化対象のピクチャに割り当てられる符号化モード情報によって復号化処理を行う。
【００８５】
回路２１の出力でのピクチャはよって、時間ウェーブレット係数から再構成される。最後の後処理工程は、後フィルタリング回路２２によって、ピクチャに対してフィルタリングを行い、それによってブロック効果型アーチファクトの削減を可能にすることによって施される。
【００８６】
切り換えモードを判定するのに用いる割合P1及び/又はP2は、２０〜２５％程度で選ばれる。この割合は経験的に得られたものであり、当然、他の値を、切り換え手順の実施に用いることが可能である。
【００８７】
ピクチャ対の時間フィルタリングに用いる動きは、動き推定によって計算される動きベクトル・フィールドの簡略化又は刈り込みを行い、それによって動き符号化のコストを制限することを可能にすることによって得ることが可能である。
【００８８】
本発明の変形は、適応的なGOP構造を前述の方法と組み合わせることから成る。GOPのサイズはその場合、可変であり、例えば、系列内の動きなどのパラメータによって変わってくる。
【００８９】
本発明は、ハイブリッド・タイプの時間解析回路、並びにサブバンド符号化タイプにも適用される。
【００９０】
本発明の適用例は、時間予測を備えたビデオ圧縮に関する。
【図面の簡単な説明】
【００９１】
【図１】従来技術による符号化図である。
【図２】１６ピクチャのGOPに対する動き補償時間フィルタリングを示す図である。
【図３】符号化回路を示す図である。
【図４】符号化を示す流れ図である。
【図５】復号化回路を示す図である。
【図１】
2007526704.tif 000020
【図２】
2007526704.tif 000021
【図３】
2007526704.tif 000022
【図４】
2007526704.tif 000023
【図５】
2007526704.tif 000024
【手続補正書】
【提出日】平成17年12月28日(2005.12.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
別々の時間分解レベルで低時間周波数ピクチャ及び高時間周波数ピクチャを供給するよう連続したピクチャ対（１１）の動き補償時間フィルタリングを行う、ピクチャ群の階層化時間解析（１）を備える、ピクチャ系列を符号化する方法であって、前記解析は、特定の時間分解レベルについて、かつ、低時間周波数ピクチャ対について、動きベクトルを供給するための、先行参照ピクチャAへの現行ピクチャBの動き推定工程（８）、次いで、更に大きな分解レベルで低時間周波数ピクチャ（L）及び高時間周波数ピクチャ（H）を供給するための、前記ピクチャの動き補償時間フィルタリング（１１）を実現し、前記時間フィルタリングは、前記現行ピクチャが、閾値（１０、１５）よりも低い、先行ピクチャとの相関レベルを有する場合に少なくとも１つの低周波（L）ピクチャ又は高周波（H）ピクチャを得るようイントラ・モード（１６、１７）符号化によって置き換えられ、得られる低周波（L）ピクチャはよって、前記動き補償時間フィルタリングによって得られるピクチャにエネルギ・レベルで適応させるようスケーリングされ、前記低周波ピクチャと、解析の最後に得られる最終高周波分解ピクチャとのうちで、
低分解レベルでのピクチャのイントラ符号化によって得られる前記低周波（L）ピクチャ又は高周波（H）ピクチャを、ピクチャ自体がイントラ符号化から得られるという、前記高周波ピクチャに対する更なる条件で選択し、
符号化するために、少なくとも１つの、前記スケーリングする工程の逆工程を行うことによって、前記選択されるピクチャをキャリブレートすることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、行われる逆工程の数は、低周波選択ピクチャを伴う場合に、選択されるピクチャに達するよう、低周波ピクチャ（L）の連続したイントラ符号化処理の数に相当し、該数を、高周波選択ピクチャ（L）を伴う場合に１減少させることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、特定の時間レベルでの低L周波画像又は高H周波画像の計算のための、前記現行ピクチャと低時間レベルの後続ピクチャ対の後続ピクチャ（１６）との間の、前記現行ピクチャと先行ピクチャとの間の相関が閾値（１０）よりも低い場合の時間フィルタリングを備え、前記現行ピクチャと、前記後続ピクチャとの間の相関が閾値（１５）よりも大きい場合に、前記特定の時間レベルでの他方のHピクチャ又はLピクチャはイントラ符号化（１６）によって得られ、選択工程の場合、前記フィルタリング処理を前記イントラ符号化と一致させるが、前記時間フィルタリングと一致させないことを特徴とする方法。
【請求項４】
請求項１記載の方法であって、ピクチャ番号を前記ピクチャ群の各ピクチャに割り当て、番号を付した前記ピクチャを、番号毎にカウンタを帰することによって分解中に監視し、前記カウンタは各工程で更新され、
低周波ピクチャ（L）がイントラ・モードで得られる都度、前記カウンタが増やされ、
高周波ピクチャ（H）がイントラ・モードで得られる都度、又は後続ピクチャによる時間フィルタリング中に、前記カウンタは変わらない状態に留まり、
先行ピクチャによる動き補償時間フィルタリングによってピクチャが得られる都度、前記カウンタがリセットされ、
前記逆工程は、前記カウンタの値によって行われることを特徴とする方法。
【請求項５】
請求項１記載の方法であって、連続した２つのピクチャA及びBの前記動き補償時間フィルタリング中に前記高周波ピクチャH及び低周波ピクチャLが
【数１】
2007526704.tif 000025
の演算から得られ、
MCは、前記ピクチャA又はHのBからAへの動きベクトル・フィールドによる動き補償に相当し、
前記ピクチャL及びHはイントラ符号化から
【数２】
2007526704.tif 000026
によって得られることを特徴とする方法。
【請求項６】
請求項3記載の方法であって、前記ピクチャH及びLは、
【数３】
2007526704.tif 000027
によって、Hの場合は後続ピクチャによるフィルタリングにより、かつ、Lの場合はイントラ符号化により得られ、
MCは、ピクチャCのBからCへの動きベクトル・フィールドによる動き補償に相当することを特徴とする方法。
【請求項７】
請求項１記載の方法であって、時間解析（１）によって得られる、前記キャリブレートされたピクチャは次いで空間解析（３）によって処理されることを特徴とする方法。
【請求項８】
請求項１記載の方法であって、前記相関レベルは、接続された、すなわち、動きベクトルによって接続された接続画素数を考慮に入れることによって計算されることを特徴とする方法。
【請求項９】
符号化画像系列の復号化方法であって、前記符号化は、符号化のために、高周波ピクチャ及び低周波ピクチャを供給するMCTFタイプの階層化時間解析の中間工程を実現し、高周波復号化ピクチャ及び低周波復号化ピクチャをもたらす復号化工程（１８、２０）と、前記高周波復号化ピクチャ及び低周波復号化ピクチャから選択されるピクチャの少なくとも１つの逆キャリブレーション工程とを備え、前記ピクチャの前記選択及び逆工程の数は、
合成対象のピクチャを供給するよう、符号化ピクチャに関連した情報の要素によって変わってくるものであり、更に、選択されていない復号化ピクチャ及び前記合成対象ピクチャからの時間合成工程（２１）を備えることを特徴とする復号化方法。
【請求項１０】
請求項９記載の方法であって、前記関連した情報は、前記符号化中に前記ピクチャに割り当てられたカウンタの値であることを特徴とする方法。
【請求項１１】
前記動き補償時間フィルタリング及び前記イントラ符号化を用いた時間解析回路（１）を備えた、請求項１記載の方法の実施のための符号器であって、選択される回路は、前記低周波ピクチャと、解析の最後に得られる最終高周波分解ピクチャとのうちで、低分解レベルでのピクチャのイントラ符号化によって、又は、ピクチャ対のピクチャと、前記低分解レベルでの後続ピクチャ対の後続ピクチャとの間の時間フィルタリングによって得られるピクチャを、前記高周波ピクチャの場合、ピクチャ自体がイントラ符号化から得られ、選択ピクチャについて前記スケーリング工程の少なくとも１つの逆工程を行うという更なる条件で選択することを特徴とする符号器。
【請求項１２】
高周波復号化ピクチャ及び低周波復号化ピクチャを供給するための復号化回路と、合成対象のピクチャの時間合成回路（２１）とを備える、請求項９記載の方法の実施のための復号器であって、選択された高周波及び/又は低周波の復号化ピクチャの逆キャリブレーションを行って合成対象ピクチャを供給するための手段も備え、ピクチャの選択及び逆キャリブレーション数は、復号化対象のピクチャに関連し、前記復号器によって受信される情報要素によって変わってくることを特徴とする復号器。
【国際調査報告】
2007526704.tif 000028
2007526704.tif 000029
2007526704.tif 000030
2007526704.tif 000031
2007526704.tif 000032
2007526704.tif 000033
2007526704.tif 000034
2007526704.tif 000035