(57)【要約】【課題】領域ベースの静止画像およびビデオの符号化に適用される改良された多重解像度境界符号化方法を提供する。【解決手段】領域ベースの静止画像およびビデオの符号化に多重解像度境界符号化を適用する方法は、複数の領域に原画像を分割すること、複数の領域に関連付けられた複数の境界を検出することとを含む。この方法は、複数の境界のそれぞれが、異なる解像度係数を含むように、複数の境界のそれぞれを符号化することをさらに含む。また、この方法は、最も高い解像度係数を有する複数の境界を使用して、原画像の複数の領域のそれぞれを、１つまたは２つ以上の部分帯域に分解すること、より低い解像度係数を有する複数の境界を使用して、より低い解像度係数を有する部分帯域の複数の領域のそれぞれを、１つまたは２つ以上の部分帯域に連続的に分解することとを含む。【選択図】図９
2004531145.tif 000002
【特許請求の範囲】
【請求項１】
領域ベースの静止画像およびビデオの符号化に多重解像度境界符号化を適用する方法であって、
複数の領域であって、該複数の領域に関連付けられた複数の境界が検出される複数の領域に原画像を分割する（９１０）ことと、
前記複数の境界のそれぞれを符号化する（９１２）ことであって、それによって、前記複数の境界のそれぞれが、異なる解像度係数を含む前記複数の境界のそれぞれを符号化する（９１２）ことと、
最も高い解像度係数を有する前記複数の境界を使用して、前記原画像の前記複数の領域のそれぞれを、１つまたは２つ以上の部分帯域に分解する（９１４）ことと、
より低い解像度係数を有する前記複数の境界を使用して、より低い解像度係数を有する部分帯域の前記複数の領域のそれぞれを、１つまたは２つ以上の部分帯域に連続的に分解する（９２４）ことと、
最も低い解像度係数を有する境界情報および画像情報を伝送する（９２６、９２８、９３０）ことと、
より高い解像度係数を有する境界情報および画像情報を連続的に伝送する（９３４、９３６）ことと
を含む多重解像度境界符号化を適用する方法。
【請求項２】
前記符号化するステップは、
前記複数の境界のそれぞれを２つの周期的なウェーブレット級数によって符号化する（９１２）こと
を含み、
それによって、前記複数の境界のそれぞれは、
前記２つの周期的なウェーブレット級数のそれぞれの異なる解像度係数
を含む
請求項１に記載の多重解像度境界符号化を適用する方法。
【請求項３】
前記分解するステップは、
領域ベースの部分帯域符号化方式を使用して、前記原画像の前記複数の領域のそれぞれを４つの部分帯域に分解する（９１４）こと
を含む請求項１に記載の多重解像度境界符号化を適用する方法。
【請求項４】
前記分解するステップは、
低域通過の水平方向周波数フィルタおよび低域通過の垂直方向周波数フィルタを使用して、前記原画像の前記複数の領域のそれぞれを部分帯域に分解する（９１６）こと
を含む請求項３に記載の多重解像度境界符号化を適用する方法。
【請求項５】
前記分解するステップは、
高域通過の水平方向周波数フィルタおよび低域通過の垂直方向周波数フィルタを使用して、前記原画像の前記複数の領域のそれぞれを部分帯域に分解する（９１８）こと
を含む請求項３に記載の多重解像度境界符号化を適用する方法。
【請求項６】
前記分解するステップは、
低域通過の水平方向周波数フィルタおよび高域通過の垂直方向周波数フィルタを使用して、前記原画像の前記複数の領域のそれぞれを部分帯域に分解する（９２０）こと
を含む請求項３に記載の多重解像度境界符号化を適用する方法。
【請求項７】
前記分解するステップは、
高域通過の水平方向周波数フィルタおよび高域通過の垂直方向周波数フィルタを使用して、前記原画像の前記複数の領域のそれぞれを部分帯域に分解する（９２２）こと
を含む請求項３に記載の多重解像度境界符号化を適用する方法。
【請求項８】
前記連続的に分解するステップは、
少なくとも３つのレベルの分解について連続的に分解する（９２４）こと
を含む請求項１に記載の多重解像度境界符号化を適用する方法。
【請求項９】
１つまたは２つ以上の最も低い解像度の部分帯域の前記画像情報を組み合わせることによって、受信機において、より高い解像度の画像情報を再構成する（９３２）こと
をさらに含む請求項１に記載の多重解像度境界符号化を適用する方法。
【請求項１０】
前記原画像が再構成されるまで、前記１つまたは２つ以上のより低い解像度の部分帯域の前記画像情報を組み合わせることにより、前記受信機において、さらに高い解像度の画像情報を連続的に再構成する（９３８）こと
をさらに含む請求項９に記載の多重解像度境界符号化を適用する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像およびビデオの符号化に関し、詳細には、領域ベースの静止画像およびビデオの符号化に関する。
【背景技術】
【０００２】
ビデオの符号化には、画像符号化および境界符号化（boundary encoding）が含まれ得る。
既存の境界符号化技法、例えばＭＰＥＧ−４などは、通常、領域ベースの符号化を行う差分チェーン符号（differential chain code）を使用する。
差分チェーン符号化の例としては、Muller等著「Progressive Transmission of Line Drawings Using the Wavelet Transform」IEEE Transactions On Image Processing, Vol. 5, No. 4, April 1996がある。
差分チェーン符号化技法は、通常、例えば４×４ピクセルの正方形の格子上の方向ベクトルを使用する。
【非特許文献１】
Muller等著「Progressive Transmission of Line Drawings Using the Wavelet Transform」IEEE Transactions On Image Processing, Vol. 5, No. 4, April 1996
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、ＭＰＥＧ−４および他の差分チェーン技法は、領域のピクセル境界を符号化するだけであり、したがって、多重解像度の全体的な表現を有することができない。
その結果、ある情報が伝送中に失われると、領域全体の境界が、誤った場所に配置されることがある。
【０００４】
フーリエ級数ベースの符号化は、境界符号化の次のステップであり、周期的に伸びる、フーリエ変換された曲線の座標を有する。
しかしながら、フーリエ級数の符号化は、良好な周波数局所性しか生み出さす、良好な空間局所性を生み出さない。
したがって、伝送誤りが存在する、すなわち、係数またはデータビットのいくつかが失われると、境界は誤った場所に配置されることがある。
【課題を解決するための手段】
【０００５】
［概要］
領域ベースの静止画像およびビデオの符号化に多重解像度境界符号化を適用する方法は、複数の領域に原画像を分割すること、複数の領域に関連付けられた複数の境界を検出することとを含む。
この方法は、複数の境界のそれぞれが、異なる解像度係数を含むように、複数の境界のそれぞれを符号化することをさらに含む。
また、この方法は、最も高い解像度係数を有する複数の境界を使用して、原画像の複数の領域のそれぞれを、１つまたは２つ以上の部分帯域に分解すること、より低い解像度係数を有する複数の境界を使用して、より低い解像度係数を有する部分帯域の複数の領域のそれぞれを、１つまたは２つ以上の部分帯域に連続的に分解することとを含む。
【０００６】
領域ベースの静止画像およびビデオの符号化に多重解像度境界符号化を適用する方法は、さらに、最も低い解像度の境界情報および画像情報を伝送すること、より高い解像度の境界情報および画像情報を連続的に伝送することとを含む。
【０００７】
この方法は、画像および境界に多重解像度符号化を使用して、低い周波数伝送の誤り訂正をよりよくすることを可能にする。
情報源通信路結合符号化（ＪＳＣＣ（joint source channel coding））技法を使用することにより、解像度能力が低いか、または、チャネル帯域幅が狭い受信機であっても、伝送誤りにかかわらず、境界をよく近似して表現することができる。
【０００８】
多重解像度符号化の好ましい実施の形態を、添付の図面を参照して詳細に説明する。
図面において同じ参照符号は、同じ要素を参照する。
【発明の効果】
【０００９】
方法および関連する装置は、領域ベースの静止画像およびビデオの符号化に多重解像度境界符号化を適用して、低周波帯域に対してより良い誤り訂正を可能にする。
高周波帯域の保護は少なく、低周波の表現のみが高く保護される。
解像度能力が低いか、または、チャネル帯域幅が狭い受信機、例えば無線デバイスなどは、伝送エラーにもかかわらず、境界をよく近似して表現することができる。
【発明を実施するための最良の形態】
【００１０】
［詳細な説明］
図１は、多重解像度境界符号化の実施に使用できるコンピュータ１００の代表的なハードウェアコンポーネントを示している。
コンピュータ１００は、インターネットまたは他のタイプのコンピュータネットワークもしくは電話ネットワークのようなネットワーク１１８との接続を有する。
コンピュータ１００は、通常、メモリ１０２、２次記憶デバイス１１２、プロセッサ１１４、入力デバイス１１６、表示デバイス１１０、および出力デバイス１０８を備える。
【００１１】
メモリ１０２には、ランダムアクセスメモリ（ＲＡＭ）または同様のタイプのメモリが含まれ得る。
メモリ１０２は、ウェブブラウザ１０６によってネットワーク１１８に接続することができる。
ウェブブラウザ１０６は、ワールドワイドウェブ（ＷＷＷ）を介して、ウェブサーバとして知られる他のコンピュータに接続を行い、ウェブサーバから、コンピュータ１００に表示される情報を受信する。
２次記憶デバイス１１２には、ハードディスクドライブ、フロッピィディスクドライブ、ＣＤ−ＲＯＭドライブ、または他のタイプの不揮発性データ記憶装置を含み得る。
２次記憶デバイス１１２は、さまざまなデータベースまたは他のリソースと対応してもよい。
プロセッサ１１４は、メモリ１０２に記憶された情報、２次記憶装置１１２に記憶された情報、またはインターネットもしくは他のネットワーク１１８から受信した情報を実行することができる。
入力デバイス１１６には、データをコンピュータ１００に入力する任意のデバイスが含まれ得る。
このようなデバイスとしては、例えばキーボード、キーパッド、カーソル制御デバイス、タッチスクリーン（おそらくスタイラスを有する）、マイク、またはビデオカメラ（図示せず）などがある。
表示デバイス１１０には、視覚画像を提示する任意のタイプのデバイスが含まれ得る。
このようなデバイスとしては、例えば、コンピュータモニタ、フラットスクリーンディスプレイ、または表示パネルなどがある。
出力デバイス１０８には、例えばプリンタ（図示せず）などのハードコピーフォーマットでデータを提供する任意のタイプのデバイス、および、音響によりデータを提供するスピーカまたは任意のデバイスを含む他のタイプの出力デバイスが含まれ得る。
コンピュータ１００は、おそらく、複数の入力デバイス、出力デバイス、および表示デバイスを備えることができる。
【００１２】
コンピュータ１００は、さまざまなコンポーネントで描かれるが、コンピュータは、追加のコンポーネントまたは異なるコンポーネントを含むことが可能であることが、当業者には分かるだろう。
その上、実施の態様は、メモリに記憶されたものとして説明されるが、これらの態様は、他のタイプのコンピュータプログラム製品もしくはコンピュータ読み取り可能媒体、インターネットもしくは他のネットワークからの搬送波、または他の形態のＲＡＭもしくはＲＯＭにも記憶できるし、それらから読み取ることもできることが、当業者には分かるだろう。
コンピュータプログラム製品またはコンピュータ読み取り可能媒体としては、例えばハードディスク、フロッピィディスク、またはＣＤ−ＲＯＭを含む２次記憶デバイスがある。
コンピュータ読み取り可能媒体は、コンピュータ１００を制御して、特定の方法を実行する命令を備えることができる。
【００１３】
あらゆる信号は、スケーリング関数およびウェーブレット関数により表すことができる。
スケーリング関数、ウェーブレット関数、ならびに他の画像符号化に関連した数学式およびアルゴリズムは、例えばChuang等著「Wavelet Descriptor of Planar Curves: Theory and Applications」IEEE Transactions on Image Processing, Vol. 5, No. 1, January 1996に記載されている。
この文献は、参照により本明細書に援用される。
Chuang等は、階層的な平面曲線記述子を記載している。
この階層的な平面曲線記述子は、ウェーブレット変換を使用することにより、最も粗いスケールの成分が全体の近似情報を運ぶ一方、より細かなスケールの成分が局所的に詳細化された情報を含むように、曲線を異なるスケールの成分に分解する。
ウェーブレット記述子は、多重解像度表現、不変性、独自性、安定性、および空間局所性といった多くの望ましい性質を有するように示されている。
【００１４】
画像の多重解像度ピラミッド符号化は、例えば「Variable-Block Size Multi-Resolution Motion Estimation Scheme for Pyramid Coding」というタイトルの米国特許第５，４７７，２７２号に記載されている。
この米国特許は、参照により本明細書に援用される。
米国特許第５，４７７，２７２号は、可変サイズのブロックの多重解像度動き推定方式を記載している。
この方式は、ビデオ圧縮用の部分帯域符号化システム、ウェーブレット符号化システム、および他のピラミッド符号化システムで動きベクトルを推定するために使用することができる。
【００１５】
多重解像度符号化では、画像情報は、段階的に増加させながら送信される。
送信される情報が増加するごとに、画像をより良く描写して表現することができる。
例えば、単一の正弦波は、原波形を表す方形波の第１の近似とすることができる。
この元の正弦波の上に、より多くの情報、例えば異なる振幅を有する二重周波数の正弦波を加えることにより、方形波の第２の近似を生成することができる。
第３の近似は、より小さな振幅を有するより高周波の正弦波を加えることにより生成することができる。
以下、同様の操作が行われる。
新しい正弦波を加えるごとに、方形波のより良い近似、すなわち原画像を生成することができる。
【００１６】
多重解像度符号化技法は、境界符号化に適用することができる。
多重解像度境界符号化では、周波数をさまざまに含有することにより周期波伝達を生成することができる。
図２は、最大解像度で符号化された代表的な境界Ｂ−Ｖ0３３０を示している。
境界は、「ｔ」とともに変化する２つの座標、すなわちｘ（ｔ）およびｙ（ｔ）からなる。
２つの座標の組み合わせは、全体の境界を生成する。
【００１７】
境界は、２つの１次元の周期的なウェーブレット級数を使用して符号化することができる。
ウェーブレット級数は、例えばMuller等著「Progressive Transmission of Line Drawings Using the Wavelet Transform」IEEE Transactions on Image Processing, Vol. 5, No. 4, April 1996に記載されている。
この文献は、参照により本明細書に援用される。
Muller等は、ウェーブレット変換を使用して線画に漸進的な伝送を適用する方法を提示する。
【００１８】
図３（ａ）および図３（ｂ）は、さまざまな解像度レベルにおける符号化に基づくウェーブレットを使用して、２つの１次元の周期信号を符号化、すなわち分解する代表的な方法を示している。
１次元の周期信号の符号化の例は、例えばVetterliおよびKovacevic著「Wavelets and Subband Coding」ISBN 0-13-097080-8, 1995, 221-223に記載されている。
この文献は、参照により本明細書に援用される。
【００１９】
図３（ａ）を参照して、１次元の曲線Ｘ（ｗ）が、周波数「ｗ」によって表されるスペクトルを細分して、ｘ（ｔ）の周波数係数を生成することにより分解される。
例えば、Ｂ−Ｖ0３３０のウェーブレット係数は、０からπのすべての周波数帯域に広がっている。
スペクトルを細分することにより、０からπ／２の低周波側を含むＢ−Ｖ1４３０の係数、および、π／２からπの高周波側を含むＢ−Ｗ1４４０の係数が生成される。
さらにスペクトルを細分することにより、０からπ／４の低周波側の内容を搬送するＢ−Ｖ2５３０の係数、および、π／４からπ／２の高周波側の内容を搬送するＢ−Ｗ2５４０の係数が生成される。
その上さらにスペクトルを細分することにより、０からπ／８の低周波側の内容を含むＢ−Ｖ3６３０の係数、および、π／８からπ／４の高周波側の内容を搬送するＢ−Ｗ3６４０の係数が生成される。
【００２０】
図４（ａ）〜図４（ｃ）は、図２に示す代表的な境界が多重解像度符号化でどのように表現されるかを示している。
まず、最も低い周波数係数を有する数ビットのデータビットが、伝送中に受信機に送信される。
これらのデータビットは、最も基本的な境界情報を表す。
次に、より高い周波数係数を有するより多くのデータビットを送信して、境界のより良い近似を表現することができる。
より高い周波数係数を有するデータビットを多く伝送するほど、境界の表現は、原画像により近くなる。
【００２１】
図４（ａ）に示すように、最も低い周波数の内容を含んだ、最初に受信するＢ−Ｖ2５３０によって、変換された境界を形成するＸ（ｗ）およびＹ（ｗ）を再構成することができる。
次に、中間の範囲の周波数の内容を搬送するＢ−Ｗ2５４０を受信することができ、それによって、より良い境界を作成することができる。
図４（ｂ）に示すＢ−Ｖ1４３０は、Ｂ−Ｖ2５３０およびＢ−Ｗ2５４０を組み合わせることにより生成することができる。
最後に、最も高い周波数の内容を含むＢ−Ｗ1４４０を受信することができ、Ｂ−Ｖ1４３０およびＢ−Ｗ1４４０を組み合わせることにより、図４（ｃ）に示す元の境界であるＢ−Ｖ0３３０を生成することができる。
結果として、Ｂ−Ｖ0３３０は、Ｂ−Ｖ2５３０、Ｂ−Ｗ2５４０、およびＢ−Ｗ1４４０を組み合わせたものである。
【００２２】
図５（ａ）は、境界の代表的な多重解像度表現を示している。
例えば雪片のような画像は、周波数係数を段階的に増加させながら送信することにより伝送することができる。
最も高い周波数係数を有する原画像は、（０）で示されている。
最も低い周波数係数を有する画像、すなわち基本形状は、（８）で示されている。
受信機の伝送能力がより高い場合には、より高い周波数係数を追加して、（７）などに示す画像を生成することができる。
多重解像度ウェーブレットベースの境界符号化に示すように、受信する情報が多くなるごとに、画像の境界の解像度は高くなり、境界をわずかに強調することができる。
すなわち、境界は、より詳細になる。
例えば（３）、（２）、（１）に図示する最終段の伝送について、生成される強調は、人間の視覚系では知覚できないことがあり、（３）、（２）、（１）を生成する係数は、チャネル誤りから保護する必要はない。
したがって、低い周波数の表現のみを残して、高い周波数帯域を廃棄することができる。
多重解像度境界符号化により、境界の基本形状は、数個の係数のみを伝送することによって保存することができる。
【００２３】
連鎖符号では、１ビットのデータビットが失われると、境界全体が誤って配置されるので、多重解像度ウェーブレットベースの境界符号化は、連鎖符号、すなわちフーリエ級数の符号化よりも優れたアプローチを提供する。
図５（ｂ）は、フーリエ級数の符号化とウェーブレットベースの符号化との代表的な比較を示している。
フーリエ級数ベースの符号化は、無限の正弦波形および余弦波形を使用する。
したがって、空間表現は存在しない。
無限の波形の周波数がわずかに変化すると、画像および境界の全体の外観が変化し得る。
一方、ウェーブレット変換は、空間および周波数の双方で良好な局所性を有する。
【００２４】
原波形を（ａ）に示す。
フーリエ級数の符号化では、１つの係数がわずかに変化すると、（ｂ）が生成される。
一方、ウェーブレットベースの符号化では、同様の係数がわずかに変化すると、（ｃ）および（ｄ）が生成される。
図示するように、フーリエ級数の符号化では、１つの係数のわずかな変化によって表される伝送誤りが、境界全体を乱す。
一方、ウェーブレットベースの符号化では、同様の誤りによって、境界が局所的に変動する。
したがって、伝送誤りが存在する場合であっても、受信機は、基本的な係数を再生することができ、境界をよく近似して表現することができる。
【００２５】
変更が局所的であることの利点は、雑音を有するチャネルが使用されて、誤りが頻繁に発生する無線画像伝送で最もよく示すことができる。
伝送誤りは、係数の１つまたは２つ以上のものに影響し、通常、高い周波数係数は低い周波数係数ほど保護されないので、高い周波数係数に影響し得る。
フーリエ級数の符号化では、このような誤りにより、画像の境界全体が誤って配置され得る。
一方、ウェーブレットベースの符号化では、図２（ｂ）に示すように、誤りを受けた、分離した領域を除いて、同じ状態が維持される。
したがって、ウェーブレットベースの符号化は、伝送誤りに対して局所性および復元性に優れ、境界を描写する好ましい符号化方法である。
【００２６】
図６（ａ）〜図６（ｃ）は、部分帯域符号化（ＳＢＣ（subband coding））技法を使用する代表的な画像符号化を示している。
領域ベースの部分帯域符号化（ＲＢＳＢＣ（region based subband coding））は、例えば、Casas等著「A Region-Based Subband Coding Scheme」Signal Processing: Image Communication 10 (1997) 173-200に記載されている。
この文献は、参照により本明細書に援用される。
Casas等は、任意の形状の画像領域に含まれる視覚情報の効率的な表現を対象とした領域ベースの部分帯域符号化方式を開示している。
ＱＭＦフィルタは、領域の境界に信号適応型対称拡張技法を使用して、分析段階および合成段階の各領域の内部に個別に適用される。
符号化ステップ、すなわち、ビット割り当て、量子化、およびエントロピ符号化を各領域に独立して実行できるように、各領域に対応する周波数係数は、分解されたさまざまな部分帯域にわたって特定される。
【００２７】
原画像Ｉ−Ｖ0３１０を図６（ａ）に示す。
図６（ｂ）に示すように、Ｉ−Ｖ0３１０をフィルタリングおよびダウンサンプリングして、部分帯域Ｉ−Ｖ1LL４１０、Ｉ−Ｗ1HL４２１、Ｉ−Ｗ1LH４２３、およびＩ−Ｗ1HH４２５を生成することができる。
周波数表現を表１に示す。
小さな（１／４サイズの）格子で描かれた部分帯域Ｉ−Ｖ1LL４１０、Ｉ−Ｗ1HL４２１、Ｉ−Ｗ1LH４２３、およびＩ−Ｗ1HH４２５を組み合わせて、原画像Ｉ−Ｖ0３１０を再構成することができる。
【００２８】
【表１】
2004531145.tif 000003
【００２９】
図６（ｃ）を参照して、部分帯域Ｉ−Ｖ1LL４１０をさらにフィルタリングおよびダウンサンプリングして、部分帯域Ｉ−Ｖ2LL５１０、Ｉ−Ｗ2HL５２１、Ｉ−Ｗ2LH５２３、およびＩ−Ｗ2HH５２５を生成することができる。
さらに小さな（１／１６サイズの）格子で描かれたこれらの部分帯域Ｉ−Ｖ2LL５１０、Ｉ−Ｗ2HL５２１、Ｉ−Ｗ2LH５２３、およびＩ−Ｗ2HH５２５を組み合わせて、Ｉ−Ｖ1LL４１０を再構成することができる。
【００３０】
図７（ａ）〜図７（ｄ）は、画像および関連する境界の代表的な多重解像度分解を示している。
図７（ａ）は、一組の領域、すなわちＲ1７１０、Ｒ2７２０、Ｒ3７３０、およびＲ４７４０から構成される原画像Ｉ−Ｖ0３１０を示している。
領域は、Ｂ−Ｖ0３３０の一組の境界、すなわちＢ1８１０、Ｂ2８２０、Ｂ3８３０、およびＢ４８４０によって画定される。
図７（ｂ）を参照して、原画像Ｉ−Ｖ0３１０をフィルタリングおよびダウンサンプリングして、画像内の領域のそれぞれに対して部分帯域Ｉ−Ｖ1LL４１０、Ｉ−Ｗ1HL４２１、Ｉ−Ｗ1LH４２３、およびＩ−Ｗ1HH４２５を生成することができる。
Ｉ−Ｖ1LL４１０は、低域通過の水平方向および低域通過の垂直方向（ＬＬ）の周波数フィルタを使用して生成することができる。
Ｉ−Ｗ1HL４２１は、高域通過の水平方向および低域通過の垂直方向（ＨＬ）の周波数フィルタを使用して生成することができる。
Ｉ−Ｗ1LH４２３は、低域通過の水平方向および低域通過の垂直方向（ＬＨ）の周波数フィルタを使用して生成することができる。
Ｉ−Ｗ1HH４２５は、高域通過の水平方向および高域通過の垂直方向（ＨＨ）の周波数フィルタを使用して生成することができる。
４つの部分帯域のすべては、同じ境界解像度、すなわちＢ−Ｖ1４３０を有する。
【００３１】
図７（ｃ）は、さらに分解したものを示し、ＬＬ周波数部分帯域Ｉ−Ｖ1LL４１０が、領域のそれぞれに対してさらにフィルタリングおよびダウンサンプリングされて、より小さな部分帯域Ｉ−Ｖ2LL５１０、Ｉ−Ｗ2HL５２１、Ｉ−Ｗ2LH５２３、Ｉ−Ｗ2HH５２５が生成される。
部分帯域Ｉ−Ｗ1HL４２１、Ｉ−Ｗ1LH４２３、Ｉ−Ｗ1HH４２５は、同じ状態に維持される。
部分帯域Ｉ−Ｖ2LL５１０、Ｉ−Ｗ2HL５２１、Ｉ−Ｗ2LH５２３、Ｉ−Ｗ2HH５２５は、同じ境界解像度、すなわちＢ−Ｖ2５３０を有する。
この境界解像度は、Ｂ−Ｖ1４３０よりも低い解像度を有する。
【００３２】
図７（ｄ）は、さらに別のレベルの分解を示し、ＬＬ周波数部分帯域Ｉ−Ｖ2LL５１０が、領域のそれぞれに対してさらにフィルタリングおよびダウンサンプリングされて、さらに小さな部分帯域Ｉ−Ｖ3LL６１０、Ｉ−Ｗ3HL６２１、Ｉ−Ｗ3LH６２３、Ｉ−Ｗ3HH６２５が生成される。
部分帯域Ｉ−Ｗ2HL５２１、Ｉ−Ｗ2LH５２３、Ｉ−Ｗ2HH５２５は、以前と同じ状態に維持される。
部分帯域Ｉ−Ｖ3LL６１０、Ｉ−Ｗ3HL６２１、Ｉ−Ｗ3LH６２３、Ｉ−Ｗ3HH６２５は、同じ境界解像度、すなわちＢ−Ｖ3６３０を有する。
この境界解像度は、Ｂ−Ｖ2５３０よりもさらに低い解像度を有する。
【００３３】
画像および対応する境界を符号化するのに必要な回数だけ、分解を実行することができる。
ダウンサンプリングは、通常、両方の方向に実行されるので、元のデータの４分の１が、各フィルタリング後に残る。
フィルタリング後、異なる周波数の内容、すなわち解像度を有するピラミッドが生成される。
しかしながら、通常、４回または５回しか、分解は実行されない。
複数レベルの分解の結果、境界のウェーブレット係数および画像の部分帯域係数に基づいて、完全な画像圧縮を生成することができる。
【００３４】
伝送において、画像情報および境界情報は、情報源通信路結合符号化（ＪＳＣＣ（joint source channel coding））を使用して送信することができ、情報をチャネル誤りから保護することができる。
ＪＳＣＣは、通信システムの圧縮機能および誤り制御機能が、ある方法で組み合わされた技法を表す。
例えば、異なる解像度が、伝送チャネルの誤りから等しく保護されないように、境界および画像の符号化を変更することができる。
すなわち、人間の視覚系（ＨＶＳ（human visual system））に関して重要度の最も高い係数を十分に保護し、重要度の最も低い係数をあまり保護しないように変更することができる。
【００３５】
例えば、ビデオ信号を送信する際に、最も低い解像度を有する画像および対応する境界の係数を最初に送信することができる。
次に、より高い解像度を有する画像および境界の係数を送信することができる。
以下、同様にして送信することができる。
より高い周波数を有する部分帯域の境界を符号化するために送信されるより多くのデータビット、すなわちエネルギーが存在する。
情報源の符号化における画像圧縮は、ＨＶＳが、通常、その差に気付かないことから、より高い周波数帯域の係数のいくつかを除去するか、または、粗く符号化すること、すなわち量子化プロセスにより部分的に得られる。
チャネル符号化は、誤り保護を画像情報および境界情報に割り当て、ＪＳＣＣは、情報源の符号化された係数を、ＨＶＳに関して重要度の順に編成する。
次に、ＪＳＣＣは、情報源の符号化された係数にチャネル符号化技法を適用して、より重要度の高い係数、すなわち低い周波数の係数により多くの保護を提供し、重要度の低い係数、すなわち高い周波数の係数への保護を少なくする。
【００３６】
図８（ａ）〜図８（ｅ）は、分解された画像および関連する境界の漸進的な再構成の代表的なプロセスを示している。
図８（ａ）を参照して、まず、最も低い解像度を有する境界情報、すなわちＢ−Ｖ3６３０を送信することができる。
次に、最も低い部分帯域Ｉ−Ｖ3LLの画像情報を送信して、境界を満たすことができる。
最も低い解像度の境界情報および画像情報は、雑音および伝送誤りから十分に保護され、低い周波数において、良好な原画像の表現が得られる。
低い帯域幅を有する受信機であっても、この基本的な近似表現を再生することができる。
【００３７】
図８（ｂ）を参照して、他の３つの部分帯域Ｉ−Ｗ3HL６２１、Ｉ−Ｗ3LH６２３、およびＩ−Ｗ3HH６２５の画像情報を送信することができる。
４つの部分帯域Ｉ−Ｖ3LL６１０、Ｉ−Ｗ3HL６２１、Ｉ−Ｗ3LH６２３、およびＩ−Ｗ3HH６２５は、同じ境界解像度、すなわちＢ−Ｖ3６３０を共有する。
このレベルの画像情報の誤りからの保護は少ない。
雑音のあるチャネルで動作し、小さなディスプレイを有するハンドヘルド無線デバイスは、通常、このレベルの近似表現のみを受信する。
しかしながら、ハンドヘルド無線デバイスは、それでも、その小さなディスプレイにビデオを表現することができ、このビデオは、元の境界および画像に近い表現を有する。
【００３８】
図８（ｃ）では、４つの部分帯域Ｉ−Ｖ3LL６１０、Ｉ−Ｗ3HL６２１、Ｉ−Ｗ3LH６２３、およびＩ−Ｗ3HH６２５を組み合わせて、Ｉ−Ｖ2LL５１０の画像情報を再構成することができる。
次に、Ｂ−Ｗ3６４０（図８に図示せず）のより高い解像度の境界情報を送信することができる。
Ｂ−Ｖ3６３０およびＢ−Ｗ3６４０を組み合わせて、より高い解像度を有するＢ−Ｖ2５３０を再構成することができる。
次に、他の３つの部分帯域Ｉ−Ｗ2HL５２１、Ｉ−Ｗ2LH５２３、およびＩ−Ｗ2HH５２５の画像情報を送信することができる。
この場合も、部分帯域Ｉ−Ｖ2LL５１０、Ｉ−Ｗ2HL５２１、Ｉ−Ｗ2LH５２３、およびＩ−Ｗ2HH５２５は、同じ境界解像度、すなわちＢ−Ｖ2５３０を共有する。
より高い解像度の境界情報および画像情報の伝送誤りからの保護は、より一層少なくなる。
【００３９】
同様に、図８（ｄ）では、部分帯域Ｉ−Ｖ2LL５１０、Ｉ−Ｗ2HL５２１、Ｉ−Ｗ2LH５２３、およびＩ−Ｗ2HH５２５を組み合わせて、Ｉ−Ｖ1LL４１０の画像情報を再構成することができる。
次に、Ｂ−Ｗ2５４０（図８に図示せず）より高い解像度の境界情報を送信することができる。
Ｂ−Ｖ2５３０およびＢ−Ｗ2５４０を組み合わせて、さらに高い解像度を有するＢ−Ｖ1４３０を再構成することができる。
次に、他の３つの部分帯域Ｉ−Ｗ1HL４２１、Ｉ−Ｗ1LH４２３、およびＩ−Ｗ1HH４２５の画像情報を送信することができる。
この場合も、部分帯域Ｉ−Ｖ1LL４１０、Ｉ−Ｗ1HL４２１、Ｉ−Ｗ1LH４２３、およびＩ−Ｗ1HH４２５は、同じ境界解像度、すなわちＢ−Ｖ1４３０を共有する。
このレベルの解像度の境界および画像は、チャネル符号化ステップであまり保護されないので、伝送誤りを受けやすい。
【００４０】
最後に、図８（ｅ）を参照して、部分帯域Ｉ−Ｖ1LL４１０、Ｉ−Ｗ1HL４２１、Ｉ−Ｗ1LH４２３、およびＩ−Ｗ1HH４２５を組み合わせて、原画像Ｉ−Ｖ0３１０を再構成することができる。
原画像Ｉ−Ｖ0３１０は、受信機で再構成することができる。
この実施の形態では、Ｂ−Ｗ1４４０の最も高い周波数係数を送信する必要はない。
受信機、例えばハイビジョンテレビまたはデスクトップコンピュータが、上述したレベルの係数を誤りなしに受信できると、受信機は、図８（ｅ）に示すように、高解像度高品質のビデオシーンを受信できるか、または、原画像の再生も可能である。
【００４１】
したがって、境界および画像の双方における多重解像度符号化により、システム設計者は、伝送チャネルの状況に従って、異なる係数の組を保護することができる。
異なるチャネルを使用する異なる受信機は、毎秒異なるビット量、すなわち帯域幅を受信することができる。
ハンドヘルドの低解像度デバイスは、十分に保護される低い周波数解像度のみを利用できる。
それ以外の受信機、例えばハイビジョンテレビなどは、より高い周波数帯域を有するより良好なチャネルを使用して、より良好な画像品質を受信することができる。
【００４２】
画像符号化および境界符号化が同じ部分帯域を使用するのは、もっぱら便利さの目的だけのことによる。
これら２つのタイプの符号化は、個別に実行することができ、同じ部分帯域を使用する必要はない。
その上、画像の符号化にＲＢＳＢＣを使用するのではなく、他の符号化方法を使用することもできる。
【００４３】
図９は、多重解像度境界符号化を使用した図７および図８に示す分解および再構成の代表的なプロセスのフローチャートである。
ステップ９１０では、原画像Ｉ−Ｖ0３１０を、複数の領域、例えばＲ1７１０、Ｒ2７２０、Ｒ3７３０、およびＲ４７４０に分割することができる。
ステップ９１０では、複数の境界、例えばＢ1８１０、Ｂ2８２０、Ｂ3８３０、およびＢ４８４０を検出することができる。
次に、ステップ９１２では、各境界が、異なるウェーブレット係数の組を含むように、ｘ（ｔ）に対して１つおよびｙ（ｔ）に対して１つの計２つの周期的なウェーブレット級数によって境界のそれぞれを符号化することができる。
例えば、３つのレベルの分解では、Ｂ−Ｖ0３３０は、ｘ（ｔ）についてＮ個、ｙ（ｔ）についてＮ個の２Ｎ個のウェーブレット係数から構成することができ、Ｂ−Ｖ1４３０は、ｘ（ｔ）についてＮ／２個、ｙ（ｔ）についてＮ／２個のＮ個のウェーブレット係数から構成することができ、Ｂ−Ｖ2５３０は、ｘ（ｔ）についてＮ／４個、ｙ（ｔ）についてＮ／４個のＮ／２個のウェーブレット係数から構成することができ、Ｂ−Ｖ3６３０は、ｘ（ｔ）についてＮ／８個、ｙ（ｔ）についてＮ／８個のＮ／４個のウェーブレット係数から構成することができる。
【００４４】
次に、ステップ９１４では、最も高い解像度を有する境界、すなわちＢ−Ｖ0３３０を使用することにより、原画像Ｉ−Ｖ0３１０の領域のそれぞれを、ＲＢＳＢＣ方式を使用して、例えば４つの部分帯域に分解することができる。
４つの部分帯域は、ステップ９１６、９１８、９２０、および９２２では、それぞれＬＬ部分帯域Ｉ−Ｖ1LL４１０、ＨＬ部分帯域Ｉ−Ｗ2HL５２１、ＬＨ部分帯域Ｉ−Ｗ2LH、およびＨＨ部分帯域Ｉ−Ｗ2HHである。
次のステップ９２４では、より低い解像度の境界を使用して、ＬＬ部分帯域の領域のそれぞれを、さらに４つのＬＬ，ＬＨ、ＨＬ、およびＨＨの部分帯域に連続的に分解することができる。
例えば、境界Ｂ−Ｖ1４３０を使用して、ＬＬ部分帯域、すなわちＩ−Ｖ1LL４１０の領域のそれぞれを、Ｉ−Ｖ2LL５１０、Ｉ−Ｗ2HL５２１、Ｉ−Ｗ2LH５２３、Ｉ−Ｗ2HH５２５にさらに分解することができる。
さらに、境界Ｂ−Ｖ2５３０を使用して、より低い解像度のＬＬ部分帯域、すなわちＩ−Ｖ2LL５１０の領域のそれぞれを、Ｉ−Ｖ3LL６１０、Ｉ−Ｗ3HL６２１、Ｉ−Ｗ3LH６２３、Ｉ−Ｗ3HH６２５にさらに分解することができる。
したがって、連続的な分解の後、次の部分帯域が生成される。
すなわち、最も低い画像の解像度の１つの部分帯域Ｉ−Ｖ3LL６１０、３つの部分帯域Ｉ−Ｗ3HL６２１、Ｉ−Ｗ3LH６２３、Ｉ−Ｗ3HH６２５、より高い画像の解像度を有する３つの部分帯域Ｉ−Ｗ2HL５２１、Ｉ−Ｗ2LH５２３、Ｉ−Ｗ2HH５２５、およびさらに高い画像の解像度を有する３つの部分帯域が生成される。
【００４５】
伝送中、これらの境界情報および画像情報を、ＪＳＣＣを使用して送信し、チャネル誤りからそれらの情報を保護することができる。
まず、ステップ９２６では、最も低い解像度の境界Ｂ−Ｖ3６３０を送信することができる。
この境界情報は、最も高い誤り保護を受ける。
次に、ステップ９２８では、最も低い解像度の部分帯域Ｉ−Ｖ3LL６１０の画像情報を送信することができる。
この画像情報もまた、最も高い誤り保護を受ける。
ステップ９３０では、最も低い解像度の部分帯域Ｉ−Ｗ3HL６２１、Ｉ−Ｗ3LH６２３、Ｉ−Ｗ3HH６２５の画像情報を送信することができる。
ステップ９３２では、部分帯域Ｉ−Ｖ3LL６１０、Ｉ−Ｗ3HL６２１、Ｉ−Ｗ3LH６２３、およびＩ−Ｗ3HH６２５を組み合わせて、Ｉ−Ｖ2LL５１０を受信機に再構成することができる。
【００４６】
次のステップ９３４では、より高い解像度の境界情報を連続的に伝送することができる。
それと共に、ステップ９３６では、より高い解像度のＨＬ部分帯域、ＬＨ部分帯域、およびＨＨ部分帯域の画像情報を連続的に伝送することができる。
同様に、ステップ９３８では、原画像Ｉ−Ｖ0３１０が再構成されるまで、部分帯域ＬＬ、ＨＬ、ＬＨ、およびＨＨを組み合わせて、より高い解像度の画像情報を再構成することができる。
例えば、高い保護を受けるＢ−Ｗ3６４０の境界情報を送信し、この境界情報をＢ−Ｖ3６３０と組み合わせることによって、解像度Ｂ−Ｖ2５３０の境界を生成することができる。
次に、Ｉ−Ｗ2HL５２１、Ｉ−Ｗ2LH５２３、Ｉ−Ｗ2HH５２５の画像情報を送信し、これらの画像情報をＩ−Ｖ2LL５１０と組み合わせて、Ｉ−Ｖ1LL４１０を再構成することができる。
次に、中程度の保護を受けるＢ−Ｗ2５４０の境界情報を送信し、この境界情報をＢ−Ｖ2５３０と組み合わせて、解像度Ｂ−Ｖ1４３０の境界を生成することができる。
最後に、Ｉ−Ｗ1HL４２１、Ｉ−Ｗ1LH４２３、Ｉ−Ｗ1HH４２５の画像情報を送信し、これらの情報をＩ−Ｖ1LL４１０と組み合わせて、原画像Ｉ−Ｖ0３１０を受信機に再構成することができる。
【００４７】
多重解像度境界符号化の方法を代表的な実施の形態と共に説明してきたが、これらの教示を考慮すると、多くの変更が、当業者に容易に明らかとなることが理解され、この出願は、そのあらゆる変形を網羅するように意図されていることが理解される。
【図面の簡単な説明】
【００４８】
【図１】多重解像度境界符号化の実施に使用できるコンピュータの代表的なハードウェアコンポーネントを示す図である。
【図２】最大解像度で符号化された代表的な境界を示す図である。
【図３（ａ）】さまざまな解像度レベルにおける符号化に基づくウェーブレットを使用して２つの１次元の周期信号を符号化する代表的な方法を示す図である。
【図３（ｂ）】さまざまな解像度レベルにおける符号化に基づくウェーブレットを使用して２つの１次元の周期信号を符号化する代表的な方法を示す図である。
【図４（ａ）】図２に示す代表的な境界が多重解像度符号化でどのように表現されるかを示す図を示す図である。
【図４（ｂ）】図２に示す代表的な境界が多重解像度符号化でどのように表現されるかを示す図を示す図である。
【図４（ｃ）】図２に示す代表的な境界が多重解像度符号化でどのように表現されるかを示す図を示す図である。
【図５（ａ）】境界の代表的な多重解像度表現を示す図である。
【図５（ｂ）】伝送誤りを有する場合または有しない場合のフーリエ級数の符号化とウェーブレットベースの符号化との代表的な比較を示す図である。
【図６（ａ）】部分帯域符号化技法を使用する代表的な画像符号化を示す図である。
【図６（ｂ）】部分帯域符号化技法を使用する代表的な画像符号化を示す図である。
【図６（ｃ）】部分帯域符号化技法を使用する代表的な画像符号化を示す図である。
【図７（ａ）】画像および関連する境界の代表的な多重解像度分解を示す図である。
【図７（ｂ）】画像および関連する境界の代表的な多重解像度分解を示す図である。
【図７（ｃ）】画像および関連する境界の代表的な多重解像度分解を示す図である。
【図７（ｄ）】画像および関連する境界の代表的な多重解像度分解を示す図である。
【図８（ａ）】画像および関連する境界の漸進的な再構成の代表的なプロセスを示す図である。
【図８（ｂ）】画像および関連する境界の漸進的な再構成の代表的なプロセスを示す図である。
【図８（ｃ）】画像および関連する境界の漸進的な再構成の代表的なプロセスを示す図である。
【図８（ｄ）】画像および関連する境界の漸進的な再構成の代表的なプロセスを示す図である。
【図８（ｅ）】画像および関連する境界の漸進的な再構成の代表的なプロセスを示す図である。
【図９】多重解像度境界符号化を使用した図７および図８に示す分解および再構成の代表的なプロセスのフローチャートを示す図である。
【符号の説明】
【００４９】
１０２・・・メモリ、
１０６・・・ウェブブラウザ、
１０８・・・出力デバイス、
１１０・・・表示デバイス、
１１２・・・２次記憶装置、
１１４・・・プロセッサ、
１１６・・・入力デバイス、
１１８・・・ネットワーク、
【図１】
2004531145.tif 000004
【図２】
2004531145.tif 000005
【図３（ａ）】
2004531145.tif 000006
【図３（ｂ）】
2004531145.tif 000007
【図４（ａ）】
2004531145.tif 000008
【図４（ｂ）】
2004531145.tif 000009
【図４（ｃ）】
2004531145.tif 000010
【図５（ａ）】
2004531145.tif 000011
【図５（ｂ）】
2004531145.tif 000012
【図６（ａ）】
2004531145.tif 000013
【図６（ｂ）】
2004531145.tif 000014
【図６（ｃ）】
2004531145.tif 000015
【図７（ａ）】
2004531145.tif 000016
【図７（ｂ）】
2004531145.tif 000017
【図７（ｃ）】
2004531145.tif 000018
【図７（ｄ）】
2004531145.tif 000019
【図８（ａ）】
2004531145.tif 000020
【図８（ｂ）】
2004531145.tif 000021
【図８（ｃ）】
2004531145.tif 000022
【図８（ｄ）】
2004531145.tif 000023
【図８（ｅ）】
2004531145.tif 000024
【図９】
2004531145.tif 000025
【国際公開パンフレット】
2004531145.tif 000026
2004531145.tif 000027
2004531145.tif 000028
2004531145.tif 000029
2004531145.tif 000030
2004531145.tif 000031
2004531145.tif 000032
2004531145.tif 000033
2004531145.tif 000034
2004531145.tif 000035
2004531145.tif 000036
2004531145.tif 000037
2004531145.tif 000038
2004531145.tif 000039
2004531145.tif 000040
2004531145.tif 000041
2004531145.tif 000042
2004531145.tif 000043
2004531145.tif 000044
2004531145.tif 000045
2004531145.tif 000046
2004531145.tif 000047
2004531145.tif 000048
2004531145.tif 000049
2004531145.tif 000050
2004531145.tif 000051
2004531145.tif 000052
2004531145.tif 000053
2004531145.tif 000054
【国際調査報告】
2004531145.tif 000055
2004531145.tif 000056
2004531145.tif 000057