(57)【特許請求の範囲】
【請求項１】
画像シーケンスの画像をコード化する方法であって、画像毎に実行する以下のステップ、即ち
(A) 前記画像を、テクスチュア及び／または動きが均一な領域に分割するステップと
(B) 前記領域の輪郭をコード化するステップと、
(C) 前記領域のテクスチュアをコード化するステップと
を具えた方法において、
前記テクスチュアをコード化するステップが、前記分割した画像の分解を含み、この分解が、分解における繰り返し回数に相当するレベル数の逐次的な分解レベル毎に実行する以下の操作、即ち
(a) 前回の低域通過帯域分割マスクから、ダウンサンプリングした２つの分割マスク、即ち低域通過分割マスク及び高域通過分割マスクを構成し、１回目の繰り返しにおける前記低域通過帯域分割マスクは、前記分割したオリジナルの画像そのものとする操作と、
(b) 低域通過帯域画像を、この画像領域の境界より外向きに拡大する操作と、
(c) これらのマスク及び拡張した信号から、前記領域のフィルタリング及びダウンサンプリングを行う操作と
を含むことを特徴とする画像のコード化方法。
【請求項２】
画像シーケンスの画像をコード化するシステムであって、
連続する各画像中に、テクスチュア及び／または動きが均一な領域を規定する分割手段と、
連続する各画像の前記領域の、それぞれ輪郭及びテクスチュアをコード化する、輪郭コード化手段及びテクスチュアコード化手段と
を具えたシステムにおいて、
前記テクスチュアコード化手段が、前記分割した画像の各々を、逐次的な分解レベルに従って分解するために、以下の操作、即ち
(a) 前回の低域通過帯域分割マスクから、ダウンサンプリングした２つの分割マスク、即ち低域通過分割マスク及び高域通過分割マスクを構成し、１回目の繰り返しにおける前記低域通過帯域分割マスクは、前記分割したオリジナル画像そのものとする操作と、
(b) 低域通過帯域画像を、この画像領域の境界より外向きに拡大する操作と、
(c) これらのマスク及び拡張した信号から、前記領域のフィルタリング及びダウンサンプリングを行う操作と
を繰り返し実行するプロセッサを具えて、前記各繰り返しが前記各分解レベルに対応することを特徴とする画像コード化システム。
【請求項３】
請求項１に記載の方法によってコード化した画像シーケンスに対応するコード化信号をデコードする方法であって、以下のステップ、即ち
(A) 前記領域の輪郭に対応するコード化信号をデコードするステップと、
(B) 前記領域のテクスチュアに対応するコード化信号をデコードするステップと
(C) オリジナルの画像列に対応する各画像を再構成するステップと
を具えた方法において、
前記領域のテクスチュアに対応するコード化信号をデコードする前記ステップが、再構成における繰り返し回数に相当するレベル数の逐次的な再構成レベル毎に実行する以下の操作、即ち
(a) 前記ダウンサンプリングした分割マスクを構成する操作と、
(b) 前記領域を、これらの領域の境界より外向きに拡大する操作と、
(c) アップサンプリング及びフィルタリングを行う操作と
を含むことを特徴とするコード化信号のデコード方法。
【請求項４】
請求項２に記載のコード化システムによってコード化した画像シーケンスに対応するコード化信号をデコードするシステムであって、
前記領域の輪郭に対応するコード化信号をデコードするためのデコード手段と、
前記領域のテクスチュアに対応するコード化信号をデコードするためのデコード手段と、
オリジナルの画像列に対応する各画像を再構成するための再構成手段とを具えたシステムにおいて、
前記再生手段が、前記再構成のために、以下の操作、即ち、
分割マスクを構成する操作と、
前記領域を、これらの領域の境界より外向きに拡大する操作と、
アップサンプリング及びフィルタリングを行う操作と
を繰り返し実行するプロセッサを具えていることを特徴とするコード信号のデコードシステム。
【発明の詳細な説明】
本発明は、画像シーケンスの画像をコード化する方法であって、各画像について以下のステップ、即ち
(A) 前記画像を均一な領域に分割すること、
(B) 前記領域の輪郭をコード化すること、
(C) 前記領域のテクスチュアをコード化すること
を含む方法に関する。
本発明は、更に、対応するデコード方法、及び、前記コード化方法及びデコード方法を実施するためのシステムに関する。
この発明は、極めて低いビットレートのビデオコード化の分野で用途を見出しており、特に、ディジタルのオーディオ−ビジュアルデータの通信、アクセス及び処理のための新しい方法をサポートするコード化標準ＭＰＥＧ４を実現するために魅力的である。
領域ベーステクスチュアコード化を扱うために用いることができる技術は比較的少ない。直交ベースに対する多項式近似によって領域中のグレイレベル又はカラー機能を近似することができるが、しかし、低い周波数が回復されるだけである。高い周波数を得るためには、ブロックベースの方法に専用の技術を領域の場合に適用して良い結果が得られているが、しかし、極めて低いビットレートの場合に、困難なブロック効果が現れる。
ほぼ１５年来、特に音声又は画像に対応する信号について、信号の分析及び合成に関する新しい数学的ツールが提案されてきている。「ウェーブレット変換」と呼ばれており、例えば雑誌「Pour la Science」の1987年９月号第28−37頁のY.Meyer、S.Jaffard及びO.Rioulによる「L'analyse par ondelettes」に記載されているこのツールによれば、任意の信号をウェーブレットの重ね合わせとして表現することができる。ウェーブレットは、拡張と変換によって１つの関数から発生される複数の関数であり、関連する信号を異なる複数のレベル（それぞれのレベルは更にこのレベルに適合する分解能によって分解される）に分解することができる。
この重要な数学的ツールは幾つかの技術分野において、特に画像圧縮の分野において用途が見出されている。IEEE Transactions on Image Processing,第１巻第２号、1992年４月、第205-220頁への通信文「Image coding using wavelet transform」はそのような用途を記載している。しかしながら、上記のように、画像はアイソトロピックな方法では処理されない。
本発明の第１の目的は、従って、画像のウェーブレット分解に基づきながら従来法に比べて更に効率のよい、新しい領域ベーステクスチュアコード化方法を提供することにある。
このため、本発明は、冒頭に述べたようなコード化方法において、前記テクスチュアコード化のステップが分割された画像の分解を含み、この分解は、繰り返しの数に対応する同一数の複数の連続する分解レベルの各々について、以下の操作、即ち
(a) 前段の低域通過帯域分割マスクから、２つのダウンサンプリング低域通過及び高域通過分割マスクを構成すること、この場合、第１繰り返しの低域通過帯域分割マスクがそれ自身オリジナルの分割画像であり、
(b) 低域通過帯域画像をその領域の境界に沿って拡張すること、
(c) これらのマスク及び拡張された信号から、領域のフィルタリング及びダウンサンプリングを行うこと
を含む方法に関する。
このような方法は、変換はアイソトロピックである。特別な方向はなく、隣接ピクセル間の空間的相関性を更に考慮するので、既知の技術に比較して更に鮮明な分析を行うことができる利点を具えている。
本発明の他の目的は、この方法を実施するためのコード化システムを提供することにある。
このため、本発明は、画像シーケンスの画像をコード化するシステムであって、
−各連続する画像の中で均一な領域を決定するための分割手段、
−各連続する画像の領域の輪郭及びテクスチュアをそれぞれコード化するための輪郭及びテクスチュアコード化手段
を具えるシステムにおいて、
前記テクスチュアコード化手段が、複数の連続レベルに基づいて行われる各分割された画像の分解のために、以下の操作、即ち
(a) 前段の低域通過帯域分割マスクから、２つのダウンサンプリング低域通過及び高域通過分割マスクを構成すること、この場合、第１繰り返しの低域通過帯域分割マスクがそれ自身オリジナルの分割画像であり、
(b) 低域通過帯域画像をその領域の境界に沿って拡張すること、
(c) これらのマスク及び拡張された信号から、領域のフィルタリング及びダウンサンプリングを行うこと
を繰り返して遂行するプロセッサを具え、各繰り返しが各分解レベルに対応するシステムに関する。
本発明の他の目的は、前記のコード化方法によってコード化れた信号をデコードするのに適した方法、及び、これに対応するデコードシステムを提供することにある。
このため、本発明は、前述のような方法によりコード化されている画像に対応する信号をデコードする方法であって、以下のステップ、即ち
(A) 領域の輪郭に対応するコード化信号をデコードすること、
(B) 領域のテクスチュアに対応するコード化信号をデコードすること、
(C) オリジナルシーケンスの画像に対応する画像を再生すること
を含む方法において、
領域のテクスチュアに対応するコード化信号をデコードする前記ステップが、繰り返しの数に対応する同一数の複数の連続する再生レベルの各々について、以下の操作、即ち
(a) ダウンサンプリングされた分割マスクを構成すること、
(b) それらの境界に沿って領域を拡張すること、
(c) アップサンプリング及びフィルタリングを行うこと
を含む方法、及び、
対応するシステムであって、
−領域の輪郭に対応するコード化信号をデコードするためのデコード手段、
−領域のテクスチュアに対応するコード化信号をデコードするためのデコード手段、
−オリジナルの画像に対応する画像を回復するための再生手段
を具えるシステムにおいて、
前記再生手段が、前記回復のために、以下の操作、即ち、分割マスクを構成すること、それらの境界に沿って領域を拡張すること、アップサンプリングを行うこと、及びフィルタリングを行うことを繰り返して遂行するプロセッサを具えるシステム
の両者に関する。
本発明のこれら及び他の観点は、以下に説明する実施例から明快になり且つ解明されるであろう。
図面においては、
図１及び２は、それぞれ、一次元入力信号がウェーブレット変換によって処理される場合において、分析処理及び合成処理の原理を示す図、
図３は、異なる分解能及び配向のサブ画像を与える二進二次元変換による画像分解の方法を説明する図、
図４は、五点型二次元ウェーブレット変換と呼ばれる場合において、異なる分解レベルにおけるサンプリンググリッドを示す図、
図５及び６は、（分析側における）画像分解及び（合成側における）画像再生のために遂行される操作を説明する図、
図７は、領域ベース五点型ウェーブレット変換の場合における、分割マスクの分解を説明する図、
図８は、画像境界に沿って再生エラーを最小にしながら領域の境界を拡張する場合を説明する図、
図９は、五点型グリッド又は直交型グリッド上のピクセルの接続性を説明する図、
図１０は、直交型グリッドの場合における追加のレイヤの計算の例を説明する図である。
基本的に、ウェーブレット技術は、画像の空間／周波数分解に基づく。ウェーブレット変換によれば、入力信号を、それぞれが所与の分解能で且つ特定の周波数範囲にある入力信号を表す、サブ帯域の一つの組によって記述することができる。図１及び２は、それぞれ、通常の一次元入力信号MSがウェーブレット変換によって処理される場合において、送信前の分析処理及び送信後の合成処理を表すウェーブレット分析及び合成のためのフィルタバンクを示す。
送信（又は格納）側で遂行される分析ステップにおいては、分解能２-mにおける信号MSの近似AP(m,MS)及び対応する残留ディテールRD(m,MS)は、それぞれ、低域通過フィルタ11及び高域通過フィルタ12を用いて（分解能２-(m-1)における）信号の前段の近似AP(m-1,MS)をフィルタリングし、それぞれに対応するサブサンプリング回路13及び14により、２分の１サンプルを保持することによって得られる。次の近似AP(m+1,MS)及び対応する信号RD(m+1,MS)を得るために、低域通過フィルタ15、高域通過フィルタ16及び対応するサブサンプリング回路17及び18により、AP(m,MS)に対して同一のサンプリング処理が適用される。以下同様である。次いで、得られた信号全てが送信チャネル100への送信のために送出される。
受信側で遂行される合成ステップの間、（アップサンプリング回路21及び22における）係数２による信号AP(m+1,MS)及びRD(m+1,MS)の内挿、低域及び高域通過フィルタ23及び24によるこれらの信号のそれぞれのフィルタリング、及び最後の加算器25における結果の信号の加算によって、分解能２-mにおける近似AP(m,MS)を再生することができる。同様に、アップサンプリング回路26及び27、低域通過フィルタ28、高域通過フィルタ29、及び加算器30によってAP(m-1,MS)が得られる。以下同様である。
入力信号として画像を扱う場合、上記の画像のための一次元ウェーブレット変換を拡張する提案が行われている。このような方法は、二進二次元ウェーブレット変換と呼ばれ、画像の行及び列に適用される分離可能の一次元フィルタを用いる。前記の二進変換による画像分解を説明する図３に示すように、画像Ｉ1（例えば正方形画像）の第１の低域通過フィルタリングステップ（FLPF）及び第１高域通過フィルタリングステップ（FHPF）、及び引き続く前記画像の行に対するサブサンプリングが、半分のラインの２つの直交画像Ｉ2L及びＩ2Hを与える。これらの画像Ｉ2L及びＩ2Hの第２の低域通過フィルタリング（SLPF(L)及びSLPF(H)）、及び引き続くラインのサブサンプリングが、半分のライン及び半分の行を持つ４つの正方形画像Ｉ3LL、Ｉ3LH、Ｉ3HL及びＩ3HHを与え、それらはそれぞれ、低域通過画像、垂直ディテールを持つ画像、水平ディテールを持つ画像、及び対角線ディテールを持つ画像である。
この方法はフィルタが水平及び垂直方向に選択的であるため画像をアイソトロピックに処理することができないことに鑑み、二次元の分離できない低域及び高域通過フィルタを用いることが提案されている。この方法は五点型二次元ウェーブレット変換と呼ばれ、√２（二進法においては２）のスケールファクタを用いており、分解能レベルの数が倍になるので分析の精度を改善することができる。異なる分解レベルにおけるサンプリンググリッドを見ることができる図４に示すように、サブバンド画像が五点型サンプリンググリッド上に定義される。低域通過フィルタＬ及び高域通過フィルタＨが画像とコンボルブされ、その中心を十字（又は円）で表されたピクセル上をシフトする。（例えばレベルｊに対応する、即ち、ここで二次元信号即ちBSと呼ばれる信号の近似AP(j,BS)に対応する）直交型グリッドから五点型グリッドへ、低域通過フィルタＬ及び高域通過フィルタＨがシフトしたサンプリンググリッドに対して適用され、五点型グリッドから直交型グリッドへ、直交型サンプリング格子に対して（πの回転の後）同一のフィルタが続いて適用される。計算時間を節約するため、フィルタリング及びサブサンプリングは実際に同時に行われる。
本発明によれば、この改善された方法は領域ベースの方法に適用され、図５及び６は、分析（即ち送信又は格納）側及び合成即ち受信側それぞれで続いて実行される操作を図式に示している。
分析及び合成処理を説明する前に、領域ベースコード化方法は３つの主なステップを含むことを思い出すことが必要である。第１の分割ステップは、各オリジナル画像をテクスチュア及び／又はモーションに関して均一である隣接オブジェクトの組に分割する。次に、例えばP.J.Nicholl及びR.J.MillarによるVth International Conference on Image Processing and its Application, 1995年７月４−６日第564-568頁への通信文「Spiral image compression by an unrestricted chain coding method」に記載されている、チェーンコード法のような技術を用いて領域の輪郭がコード化される。最後に、領域の色がコード化される（テクスチュアコード化）。
従ってこのテクスチュアコード化ステップは、分解の各レベル（前記図面におけるＬn）において分析側で遂行される３つの連続する操作（図５）による、分割された画像の分解を含む。
ウェーブレット変換は多重分解能分析に基づくので、最初、分解能の各レベルにおいて低域通過及び高域通過サブバンドに対応する２つの分割マスクが作られる。このダウンサンプリング分割マスクの作成（即ちBDSM）のために、２つの低域通過及び高域通過分割マスクが前段の低域通過及び高域通過分割マスクから作成される（分解の最初の繰り返しでは、この低域通過及び高域通過分割マスクはそれ自身オリジナルの分割マスクであり、低域通過帯域画像はコード化されるべきオリジナルの画像である）。
領域は独立的に処理されるべきであり、従って、画像のフィルタリング及びダウンサンプリングは各領域について独立的に遂行される筈であり、それは、画像境界に沿って再生エラーを最小にするために効率的な方法で各領域の境界が拡張されるべきであることを含む。この第２の操作（領域の境界に沿って領域を拡張する、即ちERAB）のため、低域通過帯域画像が、各領域の境界に沿って拡張される。
第３の操作によれば、拡張された信号及びマスクから、新しい低域及び高域通過サブバンドを得るために、領域がフィルタリング及びダウンサンプリング（FADS）される。
合成側における全体の処理に関し（図６）、３つの連続する操作BDSM、ERAB、USAFが各レベルにおいて同様に実行される。ただ、第３の操作（アップサンプリング及びフィルタリング、USAF）は異なっている。これは、最初のそれに対して最も粗い分解能から行われたアップサンプリング及びフィルタリングに基づくという理由による。
低域通過及び高域通過分割マスクの作成の操作BDSMを実行する方法は以下のとおりである。各分解レベルにこれらのマスクを作成するためには、各分割マスク（オリジナル画像のオリジナル分割マスクを含む）即ち親マスクを、低域通過及び高域通過サブバンドに対応する２つの分割マスク（即ち、子マスク）に分離する必要がある。図７は、それぞれ
−分解レベルｎ＝０における、オリジナル画像の分割マスク、
−分解レベルｎ＝1/2における、低域通過及び高域通過帯域の分割マスク（五点型グリッドOG）、
−分解レベルｎ＝１における、低域通過及び高域通過帯域の分割マスク（正方形グリッドSG）（分解レベルｎ−1/2から分解レベルｎまでに実行された変換はπ／４の回転に√２倍の拡張を加えたものに相当する）
を示す。
領域の境界に沿った領域の拡張の操作ERABの実行の方法は、以下のとおりである。分割マスクの分離が達成されると、各領域について、画像のフィルタリング及びダウンサンプリングが独立的に実行される。領域の境界について再生エラーを最小にするため、境界の拡張は、領域Ｒ及びその領域の周囲に加えられるレイヤＮの拡張が示されている図８のように実行される（ここでＮはフィルタの半分のサイズである）。各レイヤを作成するために同じ処理が繰り返される。各繰り返しにおいては、エキストラレイヤのピクセルの量が、その領域に属するそれらの隣接ピクセルの平均値として計算される。図９に示すように、どのようなグリッド（五点型グリッドQG又は直交型グリッドRG）であっても接続性は隣接４個である。図１０は直交型グリッドの場合におけるエキストラレイヤの計算を示す。左側図においては、文字は初期領域のピクセル値を表し、円はエキストラレイヤのピクセルに対応している。一方、右側図においては、付加レイヤのピクセルの値が既に計算されている。
本発明はこのコード化方法に限定されるものではなく、本発明の範囲を逸脱せずにこのコード化方法からの修正又は改善を導出することができる。例えば、このコード化方法は、例えば結線された電子モジュールにより、又は好ましくは、コード化方法に関連して前述し且つ前記電子モジュール中で遂行される操作に対応する一連の命令を確実に実行するプロセッサ又はマイクロプロセッサを含むコード化システムの形のような、種々の態様で実現できることは明らかである。
更に、本発明は同様に、上述のコード化方法を遂行することによってコード化された一連の画像に対応する信号をデコードする方法に関する。このデコード方法は、分割及びコード化ステップに対応して、それぞれ前記画像の領域の輪郭及びテクスチュアに対応するコード化信号をデコードする２つのステップ、及び、オリジナル画像に対応する画像の再構成のための再生ステップを含む。このデコード方法は、コード化方法と同様に幾つかの態様で実行することができ、特に、上述のステップに対応する命令を実行するプロセッサ又はマイクロプロセッサを含むデコードシステムによって実現することができる。
【図１】
0003836145.tif 000002
【図２】
0003836145.tif 000003
【図３】
0003836145.tif 000004
【図４】
0003836145.tif 000005
【図５】
0003836145.tif 000006
【図６】
0003836145.tif 000007
【図７】
0003836145.tif 000008
【図８】
0003836145.tif 000009
【図９】
0003836145.tif 000010
【図１０】
0003836145.tif 000011