(57)【要約】【課題】  ３Ｄ分解を用いてフレームシーケンスを符号化する方法。【解決手段】  本方法は、フレームをブロックに分割すること、及び、ブロックを符号化することを含み、現ブロックの符号化は、同一フレーム中の少なくとも１つの近傍ブロックを評価すること、及び、当該少なくとも１つの近傍ブロックの評価に基づいて、近傍ブロックに対応する現ブロックの領域のデータを符号化するかどうかについて判定を行うことを含む。【選択図】  図６
2006094483.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄ分解を用いてフレームシーケンスを符号化する方法であって、前記フレームをブロックに分割すること、及び、該ブロックを符号化することを含み、現ブロックの符号化が、同一フレーム中の少なくとも１つの近傍ブロックを評価すること、及び、該少なくとも１つの近傍ブロックの評価に基づいて、近傍ブロックに対応する前記現ブロックの領域のデータを符号化するかどうかについて判定を行うことを含む、３Ｄ分解を用いてフレームシーケンスを符号化する方法。
【請求項２】
ブロックの符号化又は復号化が、少なくとも１つの近傍ブロックからの予測／補間／コピーを含み、近傍ブロックの評価が、該近傍ブロックが予測／補間／コピーに利用できるかを判定することを含む請求項１に記載の３Ｄ分解を用いてフレームシーケンスを符号化する方法。
【請求項３】
近傍ブロックが予測／補間／コピーに利用できない場合、該近傍ブロックに隣接する前記現ブロックの線のデータを符号化することを含む請求項２に記載の３Ｄ分解を用いてフレームシーケンスを符号化する方法。
【請求項４】
ブロックをサブサンプリングすること、及び、該サブサンプリングされたブロックを処理することを含む請求項１ないし３のいずれか一項に記載の３Ｄ分解を用いてフレームシーケンスを符号化する方法。
【請求項５】
ブロックをサブサンプリングすることであって、それによって、少なくとも外側境界線を有するサブサンプリングされたブロックを生成する、サブサンプリングすること、及び、近傍ブロックの対応する外側境界線が利用できない場合、外側境界線を符号化することを含む請求項４に記載の３Ｄ分解を用いてフレームシーケンスを符号化する方法。
【請求項６】
１６×１６画素の輝度ブロックが４×４以下のブロックにサブサンプリングされ、８×８の色ブロックが２×２以下のブロックにサブサンプリングされる請求項４又は請求項５に記載の３Ｄ分解を用いてフレームシーケンスを符号化する方法。
【請求項７】
前記線をサブサンプリングすることをさらに含む請求項３に記載の３Ｄ分解を用いてフレームシーケンスを符号化する方法。
【請求項８】
近傍ブロックの対応する境界線が符号化される場合、又は、近傍ブロックがフレーム間符号化されている場合、該近傍ブロックは利用可能である請求項２ないし７のいずれか一項に記載の３Ｄ分解を用いてフレームシーケンスを符号化する方法。
【請求項９】
前記ブロックの符号化は、近傍ブロックの予測／補間を用いたフレーム内符号化に基づく請求項１ないし８のいずれか一項に記載の３Ｄ分解を用いてフレームシーケンスを符号化する方法。
【請求項１０】
前記ブロックの符号化は、必要に応じて再構成のために近傍ブロックからコピーした画素を用いてサブサンプリングすることに基づく請求項１ないし８のいずれか一項に記載の３Ｄ分解を用いてフレームシーケンスを符号化する方法。
【請求項１１】
前記現ブロックの前記近傍ブロックの前記領域における前記符号化データは明示的に符号化される請求項１ないし１０のいずれか一項に記載の３Ｄ分解を用いてフレームシーケンスを符号化する方法。
【請求項１２】
複数のブロックを有する画像中の１つのブロックを符号化する方法であって、補間を用いて前記ブロックを再構成するために該ブロックをサブサンプリングすることを含み、該サブサンプリングは、再構成が他のブロックからの画素を必要としないように行われる、複数のブロックを有する画像中の１つのブロックを符号化する方法。
【請求項１３】
３Ｄ分解符号化におけるフレーム内符号化方法において用いられる請求項１２に記載の複数のブロックを有する画像中の１つのブロックを符号化する方法。
【請求項１４】
前記サブサンプリングは、少なくとも、前記ブロックの４つの角にある画素を選択することを伴う請求項１２又は請求項１３に記載の複数のブロックを有する画像中の１つのブロックを符号化する方法。
【請求項１５】
１６×１６のブロックを（０，０）、（０，５）、（０，１０）、（０，１５）、（５，０）、（５，５）、（５，１０）、（５，１５）、（１０，０）、（１０，５）、（１０，１０）、（１０，１５）、（１５，０）、（１５，５）、（１５，１０）、（１５，１５）の位置においてサブサンプリングすること、又は、８×８のブロックを（０，０）、（０，７）、（７，０）、（７，７）の位置においてサブサンプリングすることを含む請求項１２ないし１４のいずれか一項に記載の複数のブロックを有する画像中の１つのブロックを符号化する方法。
【請求項１６】
前記ブロック中の画素のみを用いて該ブロックを再構成することをさらに含む請求項１２ないし１５のいずれか一項に記載の複数のブロックを有する画像中の１つのブロックを符号化する方法。
【請求項１７】
請求項１ないし１６のいずれか一項に記載の方法を用いて符号化されたフレームシーケンスを復号化する方法。
【請求項１８】
請求項１ないし１６のいずれか一項に記載の方法を用いて符号化されたデータの例えば送信又は受信を含む使用。
【請求項１９】
請求項１ないし１７のいずれか一項に記載の方法を実行する符号化及び／又は復号化装置。
【請求項２０】
請求項１ないし１７のいずれか一項に記載の方法を実行するコンピュータプログラム、システム又はコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ（ｔ＋２Ｄ）ウェーブレット符号化を用いた画像シーケンス（ビデオシーケンス）の符号化及び復号化に関する。より具体的には、時間分解中に生成される高域通過フレームの部分（ブロック）のフレーム内予測を行う改良された方法を提案する。
【背景技術】
【０００２】
Jens-Rainer Ohmの論文「動作補償を用いた３次元サブバンド符号化（Three-Dimensional Subband Coding with Motion Compensation）」並びにChoi及びWoodsの論文「ビデオの動作補償３Ｄサブバンド符号化（Motion-Compensated 3-D Subband Coding of Video）」は、３Ｄサブバンド符号化を記載する参考文献である。簡単に言えば、ビデオシーケンス中のピクチャグループ（ＧＯＰ）等の画像シーケンスを、動作補償（ＭＣ）時間解析とそれに続く空間ウェーブレット変換によって時空間サブバンドに分解する。代替的な手法では、時間解析ステップと空間解析ステップを逆の順序で行ってもよい。結果として得られるサブバンド係数をさらに送信のために符号化する。
【０００３】
動作補償ウェーブレットビデオ符号化においてよく知られた問題は、フレームの特定の領域／ブロックの動作推定が完全に失敗したか、又は不満足な品質であることで時間フィルタリングを行うことができない場合に起こる。従来技術では、この問題は、低域通過フレームを生成する際には時間フィルタリングを適用せず、高域通過フレームの生成には動作補償予測を行うことによって解決された。後者の問題は、結果として得られる高域通過フレームのブロックが比較的高いエネルギー（高い値の係数）を持つ傾向があり、それがさらなる圧縮ステップに悪影響を与えることである。本出願人の以前の特許出願であるＥＰ出願第０３２５５６２４．３号では、生成を改善するために高域通過フレームの問題ブロックにフレーム内予測を用いるという発想を導入した。当該発明において、ブロックは、時間的に近傍にあるフレームからではなく、現フレームの空間的な近傍から予測される。異なる予測モードを使用することができ、そのいくつかが上記特許出願に記載されている。
【０００４】
フレーム内予測を用いるほとんどのビデオ符号化方式（例えば、ＭＰＥＧ−４パート１０／Ｈ．２６４）は、予測が、以前に処理されたブロックのみをブロックのスキャン順で用いるように制限する。この制限は、ウェーブレットによる符号化の場合には常に必要であるわけではない。これは、上記の出願に述べられており、さらに、Wu及びWoodsの論文「ＭＣ−ＥＺＢＣビデオコーダのための指向性空間Ｉブロック（Directional Spatial I-blocks for MC-EZBC Video Coder）」（ICASSP 2004, May 2004、それ以前の２００３年１２月にＭＰＥＧに提出されている）において検討されている。この論文における新規の要素は、補間の使用、そして高域通過フレームブロックの形成の予測である。こうした補間の一例を添付図面の図１に示す。図１では、現ブロックの左側のブロックと右側のブロックとの間の補間を使用する。
【０００５】
横及び縦以外の予測／補間方向では状況はより複雑になり、使用する必要のあるブロック数が著しく多くなる場合がある。これを添付図面の図２に示す。図２もまた、この場合はブロックの一部（明るいグレー）が利用できないために補間されるのではなく予測されることを示す。
【０００６】
Wu及びWoodsの論文に述べられているように、予測及び補間における非因果方向（所与のブロックについて、因果方向はスキャン順で先行するブロックに相当し、非因果方向はスキャン順で後続するブロックに相当する）の使用は、例えば２つのブロックが互いから予測される状況を回避するとともに、エンコーダとデコーダの間の整合性を確保するために、ブロックの可用性を注意深く検討することを必要とする。Wu及びWoodsの論文において提案されている解決策は、以下の２回掃引（two-sweep）手順を使用することである。
１．１回目の掃引では、ＤＥＦＡＵＬＴ（デフォルト）モードのブロック（すなわち動作推定が成功したと考えられるブロック）のみを予測子（predictor）として用いる。フレーム内予測から得られたＭＳＥを動作補償の場合のＭＳＥと比較し、フレーム内予測で得られるＭＳＥのほうが小さくなるブロックをフレーム内予測されたものとしてマークする。
２．２回目の掃引では、第１のステップにおいてフレーム内予測されたものとしてマークされなかったブロックをすべて予測子に用いる。これは、より多くの近傍をフレーム内予測ブロックの予測／補間に用いることができることを意味し、高域通過ブロックのＭＳＥを低減する傾向がある。
【０００７】
フレーム内補間手法に対するいくつかの改良が、本出願人による別の以前の特許出願であるＥＰ０４２５４０２１．１に記載されており、この出願では、ブロック制限と呼ばれる、誤差伝播の影響を制限する方法が導入された。この制限が行われると、フレーム内予測を、それ自体はフレーム内予測されていないブロック／画素のみから行うことができる。この出願では、新規の３ステップモード選択アルゴリズム、及び低ビットレートにおいて視覚アーチファクトを低減するためのいくつかの技法も提案されている。
【０００８】
上述の技法はいくつかの問題を有する。その１つは、フレーム内予測されたブロックを用いてフレーム内予測を繰り返し行う場合の量子化誤差の伝播である。一方で、ブロック中の画素の値を明示的に符号化する場合、それらの値は、送信する必要のあるビット数を増やし、よって圧縮性能を損なう。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
誤差伝播とビットレートオーバーヘッドとの間でより良いバランスを達成するために、本発明では、適切な場合、例えば、予測又は補間により大きな誤差伝播が生じる場合にのみ追加ビットを送信する適応的な方式を提案する。
【００１０】
本発明の態様を添付の特許請求の範囲に記載する。
【課題を解決するための手段】
【００１１】
本発明の第１の態様において、ブロックはサブサンプリングされ、サブサンプリングされた値が明示的に符号化され、ブロックの再構成に用いられる。サブサンプリングされた値の一部、特に外側境界線の値は、対応する近傍ブロックが利用できない場合にのみ送信される。そうでない場合、対応する近傍ブロックからの値がコピーされて再構成に用いられる。
【００１２】
本発明の第２の態様は、従来技術のサブサンプリング技法に基づくが、他のブロックを用いずに再構成を行うことができるように異なるサブサンプリング位置を用いる。
【００１３】
本発明の第３の態様において、符号化は、同一フレーム中の他のブロックに対する予測／補間に基づく。近傍ブロックが予測／補間に利用できない場合、現ブロックの、近傍ブロックに対応する位置（例えば当該近傍ブロックに隣接する線）における画素値が明示的に符号化される。
【００１４】
添付図面を参照して本発明の実施形態を説明する。
【発明を実施するための最良の形態】
【００１５】
本発明の技法は、参照により本明細書中に援用する上記の従来技術文献に記載されているような従来技術の技法に基づく。
【００１６】
上で概説した概念の第１の実施態様において、本発明は、Han及びChaによって記載されているサブサンプリングされたブロックの明示的な符号化を用いた補間手法から出発する。
【００１７】
Han及びChaでは、マクロブロックが輝度成分用の１６のサブブロックと、色成分用の４つのサブブロックとに分割される。各サブブロックは、サブブロック毎に１つのＤＣ値又は画素値を用いてサブサンプリングされる。より具体的には、サブブロックの一番左上の位置の画素値が選択される。これにより、輝度マクロブロックの４×４表現と、色マクロブロックの２×２表現とが得られる。
【００１８】
サブブロックの代表画素値と、（右、下、及び右下の）３つの近傍サブブロックの代表画素と、補間とを用いてサブブロックが再構成される（さらなる詳細についてはHan及びChaを参照）。
【００１９】
サブサンプリングされた４×４及び２×２のブロックは、近傍ブロックの可用性に応じて（近傍ブロックがフレーム間予測を用いて符号化されている場合は利用できず、近傍ブロックがフレーム内予測を用いて符号化されている場合は利用できる）、近傍ブロック（単数又は複数）とは異なる予測／補間モード、又は固定値１２８を用いて量子化される。
【００２０】
予測／補間後に、結果として得られた値を、アダマール変換を用いて変換し、次に量子化する。
【００２１】
本発明では、近傍ブロックの状態に応じて現フレーム中の異なる画素組が送信されるようにHan及びChaのブロックモードを変更する。例えば、利用できる周囲のブロックがない場合（以下を参照）、Han及びChaが提案しているような４×４のサブサンプリングされたブロックを送信する。利用できる周囲のブロックが一部のみである場合、利用できないブロックに対応する境界にある画素を送信するが、Han及びChaのサブサンプリングされたブロックにおける他の境界のものは送信しない。全ての周囲ブロックが利用できる場合、周囲ブロックを用いて予測／補間を行い、追加ビット（すなわちHan及びChaのサブサンプリングされたブロックにおける境界のもの）は送信しない。
【００２２】
具体例に進む前に、以下で図３を参照して用いられる表記を明確にしておく。元のHan及びChaの提案では、以下の画素（画素ブロック中の位置を指す）、すなわち、（０，０）、（０，４）、（０，８）、（０，１２）、（４，０）、（４，４）、（４，８）、（４，１２）、（８，０）、（８，４）、（８，８）、（８，１２）、（１２，０）、（１２，４）、（１２，８）、（１２，１２）がサブサンプリング用の代表画素として選択され、適切な符号化を施した後に送信される。
【００２３】
別法として、本発明では、１６×１６のブロック中の（０，０）、（０，５）、（０，１０）、（０，１５）、（５，０）、（５，５）、（５，１０）、（５，１５）、（１０，０）、（１０，５）、（１０，１０）、（１０，１５）、（１５，０）、（１５，５）、（１５，１０）、（１５，１５）の位置にある画素をサブサンプリングにおいて代表画素として使用することを提案する。これは、ブロックをより良くカバーし、且つ再構成に好ましい。なぜなら、ブロックの再構成のための補間を、元ブロックの画素のみを用いて行うことができ、従来技術のように、いつも利用できるとは限らない隣接ブロックからの画素を必要としないためである。同様に、８×８の色ブロックの場合、（０，０）、（０，７）、（７，０）、（７，７）の位置にある画素値をサブサンプリングに用いる。
【００２４】
この例による処理では、画像中の各マクロブロックを、上で概説し図４に示す改良サブサンプリングを用いて４×４のブロック（輝度）と２×２のブロック（色）にサブサンプリングする。
【００２５】
以後の処理については、以下の一組のサブモードが利用可能である。
１．４×４サブモード。このモードでは、輝度についてサブサンプリング格子（０，０）、（０，５）、．．．（１５，１５）により４×４のサブサンプリングされたブロックと、格子（０，０）、（０，７）、（７，０）、（７，７）により色について２×２のブロックとを送信する。
２．２×２サブモード。このモードでは、輝度について（５，５）、（５，１０）、（１０，５）、（１０，１０）のサンプルからなる２×２のブロックのみを送信し、色成分の係数は送信しない。この場合、図４及び図５に示すように、補間（２×２のブロックからのマクロブロックの再構成）に必要な画素値を近傍ブロックからコピーする。
【００２６】
２つのサブモードのどちらを用いるかという決定は、以前に符号化されたブロックのモードによって決まる。直ぐ上及び左側のブロックが４×４サブモードを用いてフレーム間符号化又はフレーム内予測されている（すなわちブロックが利用可能である）場合、２×２サブモードを用いて現ブロックを符号化し、そうでない場合、４×４サブモードを用いて符号化する。４×４サブモードは、現ブロックが画像の境界にある場合にも用いられる。どちらのサブモードを用いるかという情報は送信する必要がないことに留意されたい。なぜなら、デコーダは、近傍ブロックの可用性に基づいてその情報を復元することができるからである。
【００２７】
上述のコピーパターンは近傍画素のスキャン順で最も早いブロックを用いる（例えば、スキャン順で検討中のブロックよりも後にくるブロックにある直下の画素ではなく、スキャン順で検討中のブロックに先行するブロックにある左側の画素からコピーされる左下の角の画素を参照）。代替的な実施態様は、以下のように、近傍ブロックの可用性を検討して最良の予測子を選択する。角の画素（０，０）を一例とし、その近傍を（−１，０）、（−１，−１）及び（０，−１）として示すと、３つの可能性を検討する必要がある。
１．３つの近傍がすべて利用可能である。この場合、それらの中央値を予測子とする。代替的に平均値を用いることもできる。
２．２つの近傍が利用可能である。この場合、その２つの画素の平均を用いる。
３．近傍が１つしか利用できない。この場合、その画素値とする。
【００２８】
同一の手順を他の角の画素についても、画素のインデックスを適宜置き換えて行う。
【００２９】
サブモードで選択されたブロックを、適切なアダマール変換を用いて変換し、量子化する。Han及びChaにおけるような以後のさらなるステップも行うことができる。
【００３０】
上記の例では、サブサンプリング用の画素の位置は、図４及び図５に示すような改良された格子に従って選択されるが、Han及びChaにおけるような他の画素をサブサンプリングに用いることもできる。
【００３１】
より複雑な実施態様では、近傍ブロックの可用性に応じて以下のサブモードを用いる。
１．周囲のブロックがすべて利用可能である場合、中央の、（４，４）、（４，１２）（１２，４）及び（１２，１２）の位置（Han及びChaのサブサンプリングを使用）又は（５，５）、（５，１０）、（１０，５）及び（１０，１０）の位置（提案する代替的なサブサンプリングを使用）にある４つの画素のみを送信（適切に符号化）する。
２．１つのブロックが利用できない場合、境界にある４つの画素をさらに送信する。例えば、左のブロックが利用できない場合、（０，０）、（５，０）、（１０，０）及び（１５，０）又は（３，０）、（６，０）、（９，０）及び（１２，０）を送信する。
３．２つの対向するブロックが利用できない場合、２組の行及び列をさらに送信する。例えば、左右のブロックが利用できない場合、上記の第２点目と同じ画素組と、２番目の座標を１５に置き換えた対応する画素組、すなわち（０，１５）、（５，１５）等とを送信する。
４．２つの隣接するブロックが利用できない場合、さらに４つ（又は、そのうちの１つが隣接する組と同じである場合には３つ）の画素を加える。例えば、左及び上のブロックが利用できない場合、対応する２組について、上記の２番目の場合と同じ画素と、（０，５）、（０，１０）、（０，１５）又は（０，３）、（０，６）、（０，９）及び（０，１２）とを送信する。
５．利用できるブロックが１つのみである場合、もう１行又はもう１列の画素を加える。例えば、左及び上下のブロックが利用できない場合、画素（１５，５）、（１５，１０）及び（１５，１５）又は（１５，３）、（１５，６）、（１５，９）及び（１５，１２）を送信する。
６．利用できるブロックがない場合、（０，０）、（０，４）、（０，８）、（０，１２）、．．．、（１２，１２）又は（０，０）、（０，５）、（０，１０）、（０，１５）、（５，０）、．．．（１５，１５）の位置に対応する４×４のサブブロックを送信する。この場合、Han及びChaと同じ（又は同様であるが異なるサンプリングを用いた）４×４のブロックとなることに留意されたい。
【００３２】
上記において、ブロックは、フレーム間符号化されている場合、又は処理中の現ブロックとの境界にある画素が明示的に符号化された場合に「利用可能」である。
【００３３】
画素ができる限り均一に分散するようにするために、いくつかの変更を加えて、例えば、１の場合に送信される中央の画素の位置を（４，４）及び（１２，４）から（４，５）及び（１２，５）に変更することによって、補間／予測の距離をさらに最適化することができる。そうすることが適切であるかどうかは、付加的な実施上の複雑度と、結果として得られる画素組の符号化効率とによって決まる。
【００３４】
この手法は、以前に処理されたブロックのみから予測を行うか、完全な補間を行うかに応じて適応させることもできる。前者の場合、非因果ブロックはすべて単純に使用不可能としてマークされ、対応するサブサンプリングされた画素が明示的に符号化される。
【００３５】
これらの場合をいくつか組み合わせて、モード数ひいては双方のエンコーダの複雑度を低減することも有利であり得る。例えば、利用可能な近傍ブロックが１つのみである場合、特に４×４のブロックは４×３のブロックよりも遥かに多くのビットを必要としない場合があるため、ブロック間予測を使用しても仕方がない場合がある。したがって、モード５を省いてモード６を代わりに用いてもよい。代替的に、近傍ブロックが利用できる方向により密なサンプリングを用いた４×４のブロックを形成することもできる。例えば、左のブロックのみが利用できる場合、サンプリングは、（０，０）、（０，５）、（０，１０）、（０，１５）、（５，０）、（５，５）、（５，１０）、（５，１５）、（１０，０）、（１０，５）、（１０，１０）、（１０，１５）、（１５，０）、（１５，５）、（１５，１０）、（１５，１５）から（０，３）、（０，７）、（０，１１）、（０，１５）、（５，３）、（５，７）、（５，１１）、（５，１５）、（１０，３）、（１０，７）、（１０，１１）、（１０，１５）、（１５，３）、（１５，７）、（１５，１１）、（１５，１５）に変更し、改良サンプリングとすることができる。
【００３６】
２×２の正方形ブロックは、Wan及びChaによって記載されている４×４のアダマール変換に似た２×２のアダマール変換を用いて符号化される（４×４のブロックも同様に符号化される）。ブロック境界にある１Ｄの線を、１Ｄ変換を用いて符号化する。代替的に、結果として得られる正方形でない画素組を、対称拡張を用いて拡大して正方形のブロックを生成し、次に、正方形のブロックと同様に符号化することができる。
【００３７】
サンプリングの他の変形を使用することもできる。１つの可能性として、常に中央の同じ２×２のブロック（すなわち、同じ画素位置の値）を送信し、近傍画素が利用できない境界については４画素の線を加えることがある。
【００３８】
上述の実施態様は、１６×１６のブロックサイズを用いる。さまざまなブロックサイズに対して、サンプリングを適切にスケーリングした上で同様の技法を使用することができる。異なるサブサンプリング比を用いること、例えば１６×１６のブロックを８×８にマッピングすること、等もできる。
【００３９】
使用するフレーム内符号化モード（すなわち、既知のフレーム内符号化モード及び本発明によるモードを含むさまざまなフレーム内符号化モードのうちのいずれか）は、適切な決定機構に基づいて選択してもよい。こうした機構の例として次のものがある。
１．ブロック制限を用いないWu及びWoodsの枠組みの場合と同様の最小ＭＡＤ又はＭＳＥ誤差。
２．同じ誤差測度であるが、ＥＰ０４２５４０２１．１の「ブロック制限」をオンに切り換え、フレーム内予測モードの誤差においてこれを考慮に入れる。さらに、フレーム内予測ブロックに囲まれているためにフレーム内予測を使用することができないブロックについてはフレーム内符号化モードも評価する。
３．Han及びChanに記載されているような、全てのフレーム間及びフレーム内符号化モードに対するレート−歪みの枠組みにおけるフルコストの計算。レート−歪みの最適化が非因果的な予測／補間方向と併せて用いられる場合、ブロックの可用性を正確に特定し、エンコーダとデコーダの間の整合性を維持するには複数パスの処理が必要となる。レート−歪みの最適化を単純化するために、１回目のパスで実際に、利用できる近傍ブロックがないと仮定し、したがって各ブロックのコストを正確ではないが個別に計算できるようにしてもよい。
【００４０】
別の実施形態における代替的な手法は、例えばＥＰ０４２５４０２１．１に記載されているような方向予測／補間の枠組みから開始して、近傍ブロックが利用可能でない場合にブロックモードの意味を変更することである。この実施形態において、ブロック内符号化は、上の例におけるようなサブサンプリング／再構成ではなく近傍ブロックからの予測／補間に基づく。
【００４１】
この手法では、近傍ブロックが利用できない場合、境界にある画素線のみが明示的に符号化される。例えば、横方向の補間モードが使用されている場合、以下の３つの場合が検討される。
左側のブロックが利用できない場合：現ブロックの左側の線を符号化してビットストリームで送信する。
右側のブロックが利用できない場合：現ブロックの右側の線を符号化してビットストリームで送信する。
左右両側の近傍ブロックが利用できない場合：現ブロックの左右の線を符号化して送信する。
【００４２】
以前に復号化されたブロックからの予測のみが許可される場合、以前に復号化された近傍ブロックに対応する画素線のみを検討する。例えば、左側のブロックからの横方向の予測を用いる場合、現ブロックの左側の線のみを送信することが可能である。代替的に、非因果方向に対応するブロックは、利用不可能であるかのように扱うことができる。すなわち、現ブロック間の境界上の線は、補間に必要であれば常に送信することができる。
【００４３】
予測／補間を改善し量子化誤差の影響を低減するために、ブロック中のさらなる画素を符号化して送信することができる。上記で検討した横方向の例では、縦の線に適切なサブサンプリングを施した上で符号化する。同様に、縦方向及び他の方向では、予測方向に垂直な画素線を符号化して送信する。代替的に、図４及び図５に示すものと同様のサンプリング格子を用いることができる。
【００４４】
第１の実施形態と同様に、画素線を符号化する前にサブサンプリングしてすることができる。
【００４５】
画素線の明示的な符号化を、従来技術（例えばＥＰ０４２５４０２１．１）で規定されている補間／予測モードと併せて用いることができる。この場合、画素線の明示的な符号化を、ＶＬＣ設計に組み込まれる１ビットのフラグで信号伝達するか、又は、適応的なエントロピー符号器を使用する場合、現在のモードの確率に応じて適応的に符号化することができる。
【００４６】
レート−歪みの枠組みをモード選択に用いる場合、ブロック間予測／補間を用いるモードにペナルティーを課す項をコスト関数に含めて、デコーダにおける誤差伝搬を低減するようにすることが有益であり得る。
【００４７】
本発明は、適切な変更を施した従来技術のシステムと同様のシステムを用いて実施することができる。例えば、符号化システムの基本構成要素は、ＭＣＴＦ（動作補償時間フィルタリング）モジュールを、上述の実施形態のような処理を実行するように変更することを除いて、図６に示すようなものとすることができる。
【００４８】
本明細書において、「フレーム」という用語は、フィルタリング後のものを含む画像単位を記述するために用いられるが、この用語は、画像、フィールド、ピクチャ、又は、画像、フレーム等のサブユニット若しくは領域といった他の同様の専門用語にも当てはまる。画素及び画素ブロック又は画素グループという用語は、適切な場合に置き換え可能に用いられ得る。本明細書において、画像という用語は、文脈から明らかである場合を除き、画像全体又は画像の一領域を意味する。同様に、画像の一領域は画像全体を意味し得る。画像はフレーム又はフィールドを含み、静止画、又は、フィルム若しくはビデオのような画像シーケンス中、又は関連する画像グループ中の画像に関連する。
【００４９】
画像は、グレースケール画像又はカラー画像であっても、別のタイプのマルチスペクトル画像、例えばＩＲ画像、ＵＶ画像若しくは他の電磁画像、又は音像（acoustic image）等であってもよい。
【００５０】
文脈から明らかである場合を除き、又は当業者には理解される通り、フレーム内予測は補間を、補間はフレーム内予測を意味することがあり、予測／補間は予測又は補間、又はその両方を意味するため、本発明の一実施形態は、予測のみ又は補間のみ、又は予測と補間の組み合わせ（フレーム内符号化の場合）、及び動作補償／フレーム間符号化を含む可能性があり、ブロックは１つのブロックからの１つ又は複数の画素を意味し得る。
【００５１】
本発明は、例えば適切なソフトウェア及び／又はハードウェアの変更を施したコンピュータシステムにおいて実施することができる。例えば、本発明は、プロセッサ又は制御装置のような制御又は処理手段、メモリ、磁気記憶装置、ＣＤ、ＤＶＤ等のような画像記憶手段を含むデータ記憶手段、ディスプレイ若しくはモニタ又はプリンタのようなデータ出力手段、キーボードのようなデータ入力手段、及びスキャナのような画像入力手段、又はかかる構成要素の任意の組み合わせを付加的な構成要素とともに有するコンピュータ又は同様のものを用いて実施することができる。本発明の態様は、ソフトウェア形態及び／又はハードウェア形態で、又は特定用途向け装置において提供することができるか、又はチップのような特定用途向けモジュールを提供することができる。本発明の一実施形態による装置におけるシステムの構成要素は、例えばインターネットを介して他の構成要素から遠隔して設けてもよい。図６にコーダを示し、対応するデコーダは例えば、逆の復号化動作を行うための対応する構成要素を有する。
【００５２】
他のタイプの３Ｄ分解及び変換を用いてもよい。例えば、本発明は、初めに空間フィルタリングを行い、その後に時間フィルタリングを行う分解方式において適用することができる。
【００５３】
以上の説明において、ブロックの「利用可能である」という定義は、当業者には明らかであるように、文脈並びに使用されている符号化のタイプ及び方式に依存する。
【図面の簡単な説明】
【００５４】
【図１】横方向のフレーム内補間を示す図である。
【図２】対角線方向のフレーム内補間を示す図である。
【図３】１６×１６画素のブロックを表す図である。
【図４】１６×１６のブロック用のサブサンプリング格子を示す図である。
【図５】８×８のブロック用のサブサンプリング格子を示す図である。
【図６】本発明の一実施形態による装置のブロック図である。
【図１】
2006094483.tif 000003
【図２】
2006094483.tif 000004
【図３】
2006094483.tif 000005
【図４】
2006094483.tif 000006
【図５】
2006094483.tif 000007
【図６】
2006094483.tif 000008
【外国語明細書】
2006094483.tif 000009
2006094483.tif 000010
2006094483.tif 000011
2006094483.tif 000012
2006094483.tif 000013
2006094483.tif 000014
2006094483.tif 000015
2006094483.tif 000016
2006094483.tif 000017
2006094483.tif 000018
2006094483.tif 000019
2006094483.tif 000020
2006094483.tif 000021
2006094483.tif 000022
2006094483.tif 000023
2006094483.tif 000024
2006094483.tif 000025
2006094483.tif 000026
2006094483.tif 000027
2006094483.tif 000028
2006094483.tif 000029
2006094483.tif 000030
2006094483.tif 000031
2006094483.tif 000032
2006094483.tif 000033
2006094483.tif 000034
2006094483.tif 000035