(57)【特許請求の範囲】
【請求項１】
階層型サブバンド符号化方式を用いて静止画像を複数の分解レベルに分解し、前記分解レベルを伝送する静止画像転送方法であり、各分解レベルが前記静止画像の画像表現の再構成を可能にする複数の副画像から成り、前記複数の副画像が前記画像表現の行に対応する副画像値の行を有する静止画像転送方法であって、
前記複数の分解レベルの中で最も低い画像解像度レベルを表す基本分解レベルから、前記複数の分解レベルの中で最も高い画像解像度レベルを表す分解レベルまでを、画像解像度レベルを次第に増大させて伝送するステップを含み、
前記ステップは、各々の分解レベルの前記副画像値を行ブロックとして伝送することであって、当該行ブロックが、前記各々の分解レベルの複数の副画像の副画像値の１つの行を含み、当該行が、前記各々の分解レベルの前記複数の副画像上の共通の画素表現行に対応することを特徴とする静止画像転送方法。
【請求項２】
請求項１記載の方法であって、更に、
副画像値の前記行ブロックを受信するステップと、
各行ブロックを受信するにつれ、増大する解像度レベルで、前記静止画像の連続した画素行を再構成するステップと、
前記静止画像の各再構成画素行を、これらを再構成するにつれ表示するステップと、
を含むことを特徴とする静止画像転送方法。
【請求項３】
請求項２記載の方法において、前記再構成ステップは、増大する解像度レベルで一連の再構成画像を生成するステップを含むこと、を特徴とする静止画像転送方法。
【請求項４】
請求項２記載の方法において、
前記再構成ステップは、増大する解像度レベルに対応した増大するサイズで、一連の再構成画像を生成するステップを含み、
前記方法は、更に、前記再構成画像を表示する前に、前記再構成画像を前記複数の分解レベルに対して共通のサイズにまで拡大するステップを含むこと、
を特徴とする静止画像転送方法。
【請求項５】
請求項２記載の方法において、
前記再構成ステップは、増大する解像度レベルに対応した増大するサイズで、一連の再構成画像を作成するステップを含み、
前記方法は、更に、前記再構成画像を表示する前に、補間を行うことによって、前記再生構成画像を前記複数の分解レベルに対して共通サイズにまで拡大するステップを含むこと、
を特徴とする静止画像転送方法。
【請求項６】
請求項２記載の方法において、前記静止画像を輝度及びクロミナンス平面で表わし、前記再構成及び表示ステップは、前記輝度平面のみを再構成し表示すること、を特徴とする静止画像転送方法。
【請求項７】
階層型サブバンド符号化方式を用いて静止画像を複数の分解レベルに分解し、前記分解レベルを伝送する静止画像転送方法であり、各分解レベルが前記静止画像の画像表現の再構成を可能にする複数の副画像から成り、前記複数の副画像が前記画像表現の行に対応する副画像値の行を有する静止画像転送方法であって、
前記複数の分解レベルの中で最も低い画像解像度レベルを表す基本分解レベルから、前記複数の分解レベルの中で最も高い画像解像度レベルを表す分解レベルまでを、画像解像度レベルを次第に増大させて提供するステップと、
前記基本分解レベルから、前記最も高い画像解像度レベルを表す分解レベルまでを分解レベル毎に連続的に伝送するステップと、
を含み、
前記分解レベルを伝送する前記ステップは、各々の分解レベルの前記副画像値を行ブロックとして伝送することを含み、当該行ブロックが、前記各々の分解レベルの複数の副画像の副画像値の１つの行を含み、当該行が、前記各々の分解レベルの前記複数の副画像上の共通の画素表現行に対応することを特徴とする静止画像転送方法。
【請求項８】
請求項７記載の方法において、前記変換ステップは、離散ウエーブレット変換を用いて前記複数の分解レベルを計算するステップを含むこと、を特徴とする静止画像転送方法。
【請求項９】
請求項７記載の方法であって、更に、前記行ブロックを伝送する前にこれらを符号化するステップを含むこと、を特徴とする静止画像転送方法。
【請求項１０】
請求項７記載の方法であって、更に、前記行ブロックを伝送する前にこれらにランレングス符号化を行うステップを含むこと、を特徴とする静止画像転送方法。
【請求項１１】
請求項７記載の方法において、前記静止画像はクロミナンス平面及び輝度平面から成り、前記変換ステップは、各輝度及びクロミナンス平面に対して、各分解レベルにおいて別個の副画像集合を計算するステップを含むこと、を特徴とする静止画像転送方法。
【請求項１２】
請求項７記載の方法において、前記静止画像は複数のカラー平面から成り、前記方法は、更に、前記変換ステップの前に、前記カラー平面をクロミナンス及び輝度平面に変換するステップを含み、そしてこのステップの後の前記変換ステップは、各輝度及びクロミナンス平面に対して、各分解レベルにおいて別個の副画像集合を計算するステップを含むこと、を特徴とする静止画像転送方法。
【請求項１３】
請求項７記載の方法であって、更に、
副画像値の前記行ブロックを受信するステップと、
各行ブロックを受信するにつれそれを逆変換することによって、増大する解像度レベルで前記静止画像の連続した画素行を再構成するステップと、
前記静止画像の各再構成画素行を、これを再構成するにつれ表示するステップと、
を含むこと、を特徴とする静止画像転送方法。
【請求項１４】
請求項１３記載の方法において、
前記再構成ステップは、増大する解像度レベルで一連の再構成画像を生成するステップを含むこと、を特徴とする静止画像転送方法。
【請求項１５】
請求項１３記載の方法において、
前記再構成ステップは、増大する解像度レベルに対応した増大するサイズで、一連の再構成画像を生成するステップを含み、
前記方法は、更に、前記再構成画像を表示する前に、前記再構成画像を前記複数の分解レベルに対して共通のサイズにまで拡大するステップを含むこと、
を特徴とする静止画像転送方法。
【請求項１６】
請求項１３記載の方法において、
前記再構成ステップは、増大する解像度レベルに対応した増大するサイズで一連の再構成画像を生成するステップを含み、
前記方法は、更に、前記再構成画像を表示する前に、補間を行うことによって、前記再生構成画像を前記複数の分解レベルに対して共通サイズにまで拡大するステップを含むこと、
を特徴とする静止画像転送方法。
【請求項１７】
請求項１３記載の方法において、前記静止画像を輝度及びクロミナンス平面で表わし、前記再構成及び表示ステップは、前記輝度平面のみを再構成し表示すること、を特徴とする静止画像転送方法。
【請求項１８】
離散ウェーブレット変換を用いて静止画像を複数の分解レベルに分解し、前記分解レベルを伝送する静止画像転送方法であり、各分解レベルが前記静止画像の画像表現の再構成を可能にする複数の副画像から成り、前記複数の副画像が前記画像表現の行に対応する副画像値の行を有する静止画像転送方法であって、
前記複数の分解レベルの中の最も低い画像解像度レベルを表す基本分解レベルから、前記複数の分解レベルの中の最も高い画像解像度レベルを表す分解レベルまでを、画像解像度レベルを次第に増大させて提供するステップと、
前記基本分解レベルから、前記最も高い画像解像度レベルを表す分解レベルまでを分解レベル毎に連続的に伝送するステップであって、各々の分解レベルの前記副画像値を行ブロックとして伝送することを含み、当該行ブロックが、前記各々の分解レベルの複数の副画像の副画像値の１つの行を含み、当該行が、前記各々の分解レベルの前記複数の副画像上の共通の画素表現行に対応するステップと、
副画像値の前記行ブロックを受信するステップと、
各行ブロックを受信するにつれて各行ブロックを逆変換することによって、増大する解像度レベルで前記静止画像の連続した画素行を再構成するステップと、
前記静止画像の各再構成画素行を再構成するにつれて、当該各再構成画素行を表示するステップ
を含むことを特徴とする静止画像転送方法。
【請求項１９】
請求項１８記載の方法であって、更に、前記行ブロックを伝送する前にこれらを符号化するステップを含むこと、を特徴とする静止画像転送方法。
【請求項２０】
請求項１８記載の方法であって、更に、前記行ブロックを伝送する前にこれらにランレングス符号化を行うステップを含むこと、を特徴とする静止画像転送方法。
【請求項２１】
請求項１８記載の方法において、前記静止画像はクロミナンス平面及び輝度平面から成り、前記変換ステップは、各輝度及びクロミナンス平面に対して、各分解レベルにおいて別個の副画像集合を計算するステップを含むこと、を特徴とする静止画像転送方法。
【請求項２２】
請求項１８記載の方法において、前記静止画像は複数のカラー平面から成り、前記方法は、更に、前記変換ステップの前に、前記カラー平面をクロミナンス平面及び輝度平面に変換するステップを含み、そしてこのステップの後の前記変換ステップは、各輝度及びクロミナンス平面に対して、各分解レベルにおいて別個の副画像集合を計算するステップを含むこと、を特徴とする静止画像転送方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、比較的低速の通信チャネル上で静止画像を転送するための方法及びデータ構造に関し、画像転送の間に解像度のレベルを高めながら１行ずつ視認を可能とする方法及びデータ構造に関するものである。
【０００２】
【従来の技術】
デジタル的にフォーマットしたグラフィック画像が、公衆オンライン情報サービスのユーザ間でポピュラーなアイテムとなっている。公衆オンライン情報サービスは、ユーザが多数のデジタル画像から選択し、選択した画像をダウンロードしてユーザ自身のコンピュータ上で視認できるようにするものである。高解像度コンピュータ表示装置が入手しやすくなり広く普及したことによって、高画質のデジタル画像に対する要求が高まりつつある。
【０００３】
ダウンロードのためにデジタル画像が広範囲において入手可能となったが、有用な画像を探索し獲得することは、厄介な作業となることがある。これは、主に、高解像度のコンピュータ画像を表わすには大量のデータが必要であること、また従来の遠隔通信技術を用いて個人のパーソナル・コンピュータにかかる画像をダウンロードするには、対応する長さの時間が必要であることによる。データ圧縮が一般的に行われているが、それでも尚、高解像度の画像を転送するには数分かかることがある。
【０００４】
例えば、画素当たり２４データ・ビットで表される、ツルーカラーの６４０ｘ４８０画素から成る画像を９６００ボーのモデムを用いて転送する場合、少なくとも１２分を要する。一般的なデータ圧縮技術は、この時間を恐らく１ないし２分に短縮することができる。しかしながら、この程度の遅れでも非常にいらいらする原因となることがある。一旦画像を転送し視認して、ユーザが期待していたあるいは望んでいたものと全く異なったものであることが判明した場合には、このいらいらが更に増すことは大いにあり得ることであろう。多数の画像をダウンロードし、ふるいにかけていると、すぐに何時間もたってしまうということも起こり得る。
【０００５】
漸進的画像伝送(progressive image transmission)は、このいらいらをある程度減少させるために用いられる技術である。これは、受信側のコンピュータが、ダウンロード中の画像を非常に低い解像度の表現で、素早く表示できるようにするものである。ユーザのコンピュータによってより多くのデータが得られるにつれて、画像は徐々に高い解像度のレベルで表示される。ユーザは、画像が使用不可能に思えたなら、どの時点でも転送を打ち切ることができる。
【０００６】
離散ウエーブレット変換(discrete wavelet transformation)は、最近開発された技術であり、静止画像データを圧縮したり、漸進的画像伝送を容易に処理するために用いられている。数人の著者が、離散ウエーブレット変換を用いた静止画像データの圧縮及び伝送方法について記述している。例えば、以下の論文を参照されたい。これらは、言及により本開示に含めるものとする。
Ａ．マラット，ステファン  ジー．(Mallat, Stephane G.)，「多重解像度信号分解のための理論：ウエーブレット表現(A Theory for Multiresolution Signal Decomposition: The Wavelet Representation)」（IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 11, No. 7, pp. 674-692 （１９８９年７月）
Ｂ．ゼットラ，ウイリアム  アール．ら(Zettler, William R., et al.,)，「小型に維持したウエーブレットの画像圧縮への応用(Application of Compactly Supported Wavelets to Image Compression)」(Aware Technical Report AD900119,pp. 1-9 (1991))
Ｃ．アントニーニ，マークら(Antonini, Marc, et al.)，「ウエーブレット変換を用いた画像の符号化(Image Coding Using Wavelet Transform)」(IEEE tansactions On Image Processing, Vol. 1, No. 2, pp. 205-220 (１９９２年４月))
Ｄ．シャピロ，ジェローム  エム．(Shapiro, Jerome M.)，「ウエーブレット係数のゼロツリーを用いた埋め込み階層型画像符号化器(An Embedded Hierarchical Image Coder Using Zerotrees Of Wavelet Coefficients)」(IEEE Proceedings of Data Compression Conference, pp. 214-223 (1993))
Ｅ．ブランフォード，ロナルド  ピー．(Blanford, Ronald P.)，「ウエーブレット符号化及び可変解像度漸進的伝送(Wavelet Encoding and Variable Resolution Progressive Transmission)」(NASA Space and Earth Science Data Compression Workshop, pp. 25-35 (1993))
上記引用論文に加えて、以下の論文も離散ウエーブレット変換についてより一般的に説明するものであり、これらも言及により本開示に含めるものとする。
【０００７】
Ａ．バージズ，ナディアら(Baaziz, Nadia, et al.)「画像シーケンス符号化のためのラプラス・ピラミッド対ウエーブレット分解(Laplacian Pyramid Versus Wavelet Decomposition for Image Sequence Coding)」(IEEE International Conference On Acoustics, Speech and Signal Processing, pp. 1965-1968, (1990))
Ｂ．ヴェッテルリ，マルティンら(Vetterli, Martin, et al.)，「ウエーブレット及びフィルタ・バンク：関係と新たな結果(Wavelets and Filter Banks: Relationships and New Results)」(IEEE International Conference on Acoustics,Speech and Signal Processing, pp. 1723-1726, (1990))
Ｃ．プレス，ウイリアム  エッチ．(Press, William H.)，「ウェーブレット変換：初歩(Wavelet Transforms: A Primer)」(Center for Astrophysics, Preprint Series No. 3184, pp.1-24)
Ｄ．コディ，マック  エー．( Cody, Mac A.)，「高速ウエーブレット変換−−フーリエ変換を越える(The Fast Wavelet Transform--Beyond Fourier Transforms)」(Dr. Dobb's Journal, pp. 16-28; 100-101, (１９９２年４月))
Ｅ．リウル，オリビエら(Rioul, Olivier, et al.)「ウエーブレットと信号処理(Wavelets and Signal Processing)」（IEEE Signal Processing Magazine, pp. 14-38. (１９９１年１０月))
Ｆ．マラット，ステファン  ジー．(Mallat, Stephane G)「小型多重解像度表現：ウエーブレット・モデル(A Compact Multiresolution Representation: The Wavelet Model)」( IEEE Proceedings of Workshop on Computer Vision, pp. 2-7, (1987))
Ｇ．マラット，Ｓ．Ｇ．(Mallat, S.G.)「コンピュータの画像におけるウエーブレットに対する多重解像度手法(Multiresolution Approach To Wavelets In Computer Vision)」(Proceedings of the International Conference, Marseille, France, pp. 313-327 (１９８７年１２月))
Ｈ．ドーベチーズ，イングリッド；ヴェッタリング，ウイリアム  ティー．；テウコルスキー，ソール  エー．(Daubechies, Ingrid; Vetterling, William T.; Teukolsky, Saul A.;Society for Industrial and Applied Mathematics)「ウエーブレットの何、何故、どんな(The What, Why, and How of Wavelets)」（ウエーブレットについての１０講座(Ten Lectures on Wavelets)第１章, pp. 1-16 (1992))
ゼットラらが、「小型に維持したウエーブレットの画像圧縮への応用(Application of Compactly Supported Wavelets to Image Compression)」と題する彼らの論文の２〜４ページに説明しているように、「ウエーブレット」という用語は、実直線(real line)上で二乗積分可能な関数Ｌ2(Ｒ)の正規直交基(orthonormal basis)のことを意味する。これは、スケーリング関数係数(scaling function coefficients)の1つの集合から繰り返し定義される。
【０００８】
【数１】
0003847828.tif 000002
これは以下の条件を満足する。
【０００９】
【数２】
0003847828.tif 000003
また、一般的に、
【００１０】
【数３】
0003847828.tif 000004
となる。
【００１１】
ゼットラらが更に説明しているように、これらの条件を満足する、Ｎ≧２に対する集合ａkは無限にある。これらの係数は、以下の繰り返しを満足するスケーリング関数φ(ｘ)を暗示的に定義する。
【００１２】
【数４】
0003847828.tif 000005
スケーリング関数、それらの変換(translate)、関連する基本ウエーブレット関数ψ(ｘ)、及びψのスケーリング後の変換が、Ｌ2(Ｒ)の正規直交基を形成する。スケーリング関数で、ウエーブレット関数ψを以下のように定義する。
【００１３】
【数５】
0003847828.tif 000006
一次元では、離散ウエーブレット変換は、１つの入力シーケンスＸ={ｘi}から２つの出力シーケンス（ｋ∈｛0,...,2Ｎ-l｝)を生成する。
【００１４】
【数６】
0003847828.tif 000007
離散ウエーブレット変換は可逆的(invertible)であるので、再構成を完全に行うことができる。上述の一般的原理を用いた、ウエーブレット変換の変様もいくつか先に引用した論文に記載されている。
【００１５】
離散ウエーブレット変換を用いた画像データ圧縮は、上記の式を用いて、画像を４つのサブバンド即ち副画像に分解即ち変換することから始まる。各副画像は、原画像の１／４のサイズであり、原画像の１／４のデータ点数を含む。画像分解は、まず、原画像の各水平画素列に対して一次元ウエーブレット畳み込み(one-dimensional wavelet convolution)を行うことによって、画像を低周波数情報を含む副画像と高周波数情報を含む副画像との２つの副画像に分割する。次に、各副画像の各垂直画素行に上記と同一又は同様の畳み込みを適用し、先に得た副画像の各々を、更に２つの副画像に分割する。これらも、低周波数情報及び高周波数情報に対応する。結果的に得られた４つの副画像を、ＬＬ、ＬＨ、ＨＬ、及びＨＨ副画像と呼ぶことにする。ＬＬ副画像は、垂直及び水平双方のウエーブレット畳み込みからの低周波数情報を含むものである。ＬＨ副画像は、水平ウエーブレット畳み込みからの低周波数画像情報と、垂直ウエーブレット畳み込みからの高周波数画像情報とを含むものである。ＨＬ副画像は、水平ウエーブレット畳み込みからの高周波数情報と、垂直ウエーブレット畳み込みからの低周波数画像情報とを含むものである。ＨＨ副画像は、垂直及び水平双方のウエーブレット畳み込みからの高周波数情報を含むものである。
【００１６】
このプロセスの結果を、図１及び図２に画像として示す。図１は、元の圧縮前の画像１０を示す。図２は、同じ画像の第１分解レベル１２を示す。分解レベル１２は、図１の静止画像を、上述のように離散ウエーブレット変換の垂直及び水平パスを用いて、変換した結果である。分解レベル１２は、４つの副画像を含み、説明の都合上これらを複合的に(compositely)集合化することとする。先に与えた付番方法に従って、この第１分解レベルのサブバンド即ち副画像を、ＬＬ１、ＬＨ１、ＨＬ１、及びＨＨ１副画像として指示することにする。添字の１は第１分解レベルを示す。ＬＬ１副画像は、原画像からの低周波数情報を含む。副画像ＬＬ１は、表示装置の画面上に表したときは、解像度が低いあるいはサイズが小さいことを除いて、原画と同様に見えることを注記しておく。ＬＨ１副画像は、垂直方向に生じる高周波数情報を含む。ＨＬ１副画像は、水平方向に生じる高周波数情報を含む。ＨＨ１副画像は、対角線方向に生じる高周波数情報を含む。組み合わせることによって、４つの副画像は、原画像を再構成するために必要な全ての情報を含むことになる。
【００１７】
第１分解レベルを更に分解すると、図３に示すような第２分解レベル１４を含むことができる。この再分解は、第１分解レベル１２の副画像ＬＬ１にのみ行う。副画像ＬＬ１を分解するためには、原画像に対して既に行った同一処理と同じように、副画像ＬＬ１に水平及び垂直ウエーブレット畳み込みを行う。このステップによって、副画像ＬＬ１を、ＬＬ２、ＬＨ２、ＨＬ２、及びＨＨ２副画像に再分割する。この場合も、ＬＬ２は、解像度が大幅に低いことを除いて、原画像のように見える。即ち、各分解レベルにおけるＬＬ副画像は、次に高い分解レベルのＬＬ副画像の１／４のデータ点数を有する。
【００１８】
上述のウエーブレット変換を、連続して得られる各ＬＬ副画像に対して繰り返し行う。以下に述べる本発明が達成しようとする実際上の目的のためには、４つ又は５つの分解レベルを計算すれば十分であることが、大体判った。
【００１９】
原画像を再構成するためには、逆ウエーブレット変換を、各分解レベルにおいて繰り返し行う。２レベル分解方式を想定すると、第２分解レベルは副画像ＬＬ２を含み、これは原静止画像の低解像度表現即ち基本表現となる。更に高い解像度を得るためには、第２分解レベルの副画像を用いて、逆ウエーブレット変換を行うことによって、副画像ＬＬ１を再構成する。続いて、第１分解レベルの副画像を用いて逆変換を行うことにより（しかし、第２分解レベルの逆変換によって副画像ＬＬ１を得た後でなければならない）、利用可能な最高の解像度で原画を得ることができる。
【００２０】
【発明が解決しようとする課題】
画像伝送にウエーブレット手法を用いることの魅力は、副画像ＬＨ、ＨＬ、及びＨＨが、ランレングス符号化やハフマン符号化のような方法によって、非常に高い圧縮比で効率的に圧縮可能なデータを含むことである。本発明の好適実施形態は、この利点を保有するものである。加えて、本発明は、静止画像を効率的に記憶し伝送することによって、画像を素早く再構成し表示できるようにすると共に、徐々に解像度を高め、早めにユーザが評価を下すことができるようにする方法を提供する。伝送中ユーザが静止画像を受け入れ不可と判断したときはいつでも、長時間浪費することなく、伝送及び再構成を中断することができる。
【００２１】
【課題を解決するための手段】
本発明の好適実施形態は、電話線のような比較的低速のデータ通信リンク上で画像を転送している間に、都合よく静止画像を前もって見ることができるように静止画像を変換するステップを含む。本発明の方法は、離散ウエーブレット変換のような階層型サブバンド符号化方式を用いて、画像を複数の分解レベルに変換することを含む。各分解レベルは複数の副画像を含み、これらが静止画像のある画像表現の再構成を可能にする。これら分解レベルの伝送は、基本分解レベル、即ち、低いレベルの画像解像度を与える画像表現から始まり、そして次第に高くなる画像解像度レベルを与える分解レベルに進む。各分解レベルは、逆変換することにより、より高い解像度レベルである画像表現を生成することができる。各分解レベル内では、種々の副画像の行を、隣接するブロック内に互いに配列したり又は交錯させて、単一分解レベルで、単一行のデータ全てを一緒に伝送する。転送の受信端においては、行ブロックを受信しながらそれらを再構成し表示する。本発明の好適実施形態は、低解像度の初期画像を１行ずつ徐々に更新し鮮明化することによって、所望の高解像度を達成する。ユーザは、画像が所望のものでない場合、いつの時点でも転送を終了させることができる。
【００２２】
【発明の実施の形態】
以下に記述する本発明は、静止画像を記憶し、転送し、受信し、そして視認するのに有用なものである。本発明は、公衆音声帯域電話線(public voice-grade telephone line)又はＩＳＤＮ（統合サービス・デジタル網）通信チャネルのような直列伝送媒体による画像転送と組み合わせると、特に有用である。好適実施形態の説明は、グレースケール又はＲＧＢ静止画像を参照しながら進めていく。グレースケール画像は、画素又は画素強度(pixel intensity)に対応する強度値のマトリクスを有する単一カラー平面(color plane)から成る。ＲＧＢ画像は３つの個別カラー平面から成り、各々画素又は画素強度に対応する強度値のマトリクスを含む。「Ｒ」カラー平面は、画素の赤成分の強度を含む。「Ｇ」カラー平面は、画素の緑成分の強度を含む。「Ｂ」カラー平面は、画素の青成分の強度を含む。その他の静止画像表現も、本発明方法を用いて転送することができる。
【００２３】
図４に、原画像を転送する際に好適なステップを示す。第１ステップ２０は、公知技術を用いて、ＲＧＢ画像のカラー平面を輝度及びクロミナンス（ＹＵＶ）平面に変換する処理から成る。次のステップ２１は、「従来の技術」の欄で記述したウエーブレット変換のような階層型サブバンド符号化方式を用いて、変換した原画像を複数の分解レベルに変換する処理から成る。各分解レベルは複数の副画像から成り、これらによって原静止画像の画像表現の再構成が可能となる。変換ステップ２１は、各輝度平面及びクロミナンス平面について、各分解レベルにおけるサブバンド即ち副画像の別個の集合を計算することを含む。言い換えれば、各ＹＵＶ平面を別個に変換し、各分解レベルは、各ＹＵＶ平面に対する複数の副画像即ち副画像集合から成る。カラーＹＵＶ画像に関して上記種々のステップを与えたが、本方法は、単一色、強度、又は輝度平面のみを含むグレースケール画像でも、同様に機能する。
【００２４】
ステップ２１は、少なくとも３つ、そして好ましくは４つ以上の分解レベルを生成することから成ることが好ましい。説明の都合上４つの分解レベルを想定すると、４番目の分解レベルを、低解像度「基本」分解レベルと考える。これは、Ｙ平面に副画像ＹＬＬ4、ＹＬＨ４、ＹＨＬ４、及びＹＨＨ４；Ｕ平面にＵＬＬ４、ＵＬＨ４、ＵＨＬ４、及びＵＨＨ４；並びにＶ平面にＶＬＬ４、ＶＬＨ４、ＶＨＬ４、及びＶＨＨ４を含む。
【００２５】
この第４分解レベルは、相対的に高い解像度を有する第３分解レベル内に、入れ子式に埋め込む。第３分解レベルは、第４分解レベルに加えて、副画像ＹＬＨ３、ＹＨＬ３、ＹＨＨ３、ＵＬＨ３、ＵＨＬ３、ＵＨＨ３、ＶＬＨ３、ＶＨＬ３、及びＶＨＨ３を含む。基本分解レベルは、明示的に指定したＬＬ副画像を含む１つのみであることを注記しておく。より解像度が高い副画像のＬＬ副画像は、より低い即ち埋め込み分解レベルで表わし、このより低い即ち埋め込み分解レベルから計算即ち逆変換しなければならない。第３分解レベルよりも更に高い解像度の第２分解レベルは、第３分解レベル、並びに副画像ＹＬＨ２、ＹＨＬ２、ＹＨＨ２、ＵＬＨ２、ＵＨＬ２、ＵＨＨ２、ＶＬＨ２、ＶＨＬ２、及びＶＨＨ２とを含む。第１分解レベルは、第２分解レベル、並びに副画像ＹＬＨ１、ＹＨＬ１、ＹＨＨ１、ＵＬＨ１、ＵＨＬ１、ＵＨＨ１、ＶＬＨ１、ＶＨＬ１、及びＶＨＨ１を含む。
【００２６】
各サブバンド即ち副画像は、対応する分解レベルによって与えられる画像表現の行に対応する、副画像値の行を含む。先に述べたように、所与の分解レベルにおける各副画像は、原画像又は次に高い分解レベルのＬＬ副画像の異なる周波数成分に関する情報を含む。種々の分解レベルは、画像解像度レベルを徐々に高めていく。
【００２７】
図４のステップ２２及び２３は、それぞれ、スカラー量子化(scalar quantization)及びエントロピ符号化(entropy coding)を行う処理から成る。変換した画像について、レベル毎にスカラー量子化を行う。また、ハフマン符号化又はランレングス符号化を用いて、量子化値を圧縮又は符号化することが好ましい。この目的のために、種々の形態のランレングス符号化、並びに先に引用した文献に提案されている他の形態のデータ圧縮を用いることもできる。
【００２８】
低解像度のみを与える基本分解レベルから開始して、徐々に高いレベルの画像解像度を与える分解レベルに進むことにより、分解レベルを連続的に伝送する。分解レベルの伝送は、図４のステップ２４ないし２８によって行う。ステップ２４に示すように、副画像を隣接行ブロックとして伝送する。ある１つの特定の行ブロックは、特定の分解レベルの解像度で画像表現の単一行の再構成を可能にするために必要な副画像値を全て含む。この再構成行は、次に高い分解レベルのＬＬ副画像の１行を形成する。
【００２９】
グレイスケール画像では、行ブロックは、選択した分解レベルの各副画像からの単一画素行から成る。カラーＹＵＶ画像では、行ブロックは、選択した分解レベルの各カラー平面の各副画像からの単一画素行から成る。例えば、１行ブロックは、選択した分解レベルの副画像ＹＬＨ、ＹＨＬ、ＹＨＨ、ＵＬＨ、ＵＨＬ、ＵＨＨ、ＶＬＨ、ＶＨＬ、及びＶＨＨの各々からの１画素行から成る。
【００３０】
現分解レベルからの副画像の全行を選択し伝送するまで、単一分解レベルの連続した行ブロックに対して、ステップ２４を繰り返す。これは、図４のブロック２５及び２６によって示してある。更に、ブロック２７及び２８で示すように、後続の分解レベルについて、上記のプロセスを繰り返す。全分解レベルの全行ブロックを伝送し終わるまで、このプロセスを続ける。
【００３１】
具体例として、第４即ち基本分解レベルから伝送を開始する。基本分解レベルの伝送は、そのＬＬ副画像のみで開始することにより、非常に荒い画像表現を直ちに表示できるようにする。ここで記述するカラー画像では、これは副画像ＹＬＬ４、ＵＬＬ４、及びＶＬＬ４を含む。伝送は、ＹＬＬ４の第１行、ＵＬＬ４の第１行、及びＶＬＬ４の第１行から成る行ブロックから開始する。続いて、ＹＬＬ４の第２行、更に、ＵＬＬ４の第２行、そしてＹＬＬ４の第２行を含む後続の１つの行ブロックを伝送する。更に別の行ブロックに配列してた、副画像ＹＬＬ４、ＵＬＬ４、及びＶＬＬ４の残りの行が続く。
【００３２】
次に、第４分解レベルの残りの副画像の伝送を継続し、副画像ＹＬＨ４、ＹＨＬ４、ＹＨＨ４、ＵＬＨ４、ＵＨＬ４、ＵＨＨ４、ＶＬＨ４、ＶＨＬ４、及びＶＨＨ４の各々の最初の行を含む行ブロックから開始する。次の行ブロックは、副画像ＹＬＨ４、ＹＨＬ４、ＹＨＨ４、ＵＬＨ４、ＵＨＬ４、ＵＨＨ４、ＶＬＨ４、ＶＨＬ４、及びＶＨＨ４の各々の第２行を含む。副画像ＹＬＨ４、ＹＨＬ４、ＹＨＨ４、ＵＬＨ４、ＵＨＬ４、ＵＨＨ４、ＶＬＨ４、ＶＨＬ４、及びＶＨＨ４の残りの行も同様に配列し、順次の行ブロックとして伝送する。
【００３３】
更に、続いて、各副画像ＹＬＨ３、ＹＨＬ３、ＹＨＨ３、ＵＬＨ３、ＵＨＬ３、ＵＨＨ３、ＶＬＨ３、ＶＨＬ３、及びＶＨＨ３の最初の行を含む行ブロックから、伝送を開始する。ここで注記すべきは、この分解レベルのＬＬ副画像は、既に伝送済みの第４分解レベルから再構成可能なので、この分解レベルはＬＬ副画像を含まないことである。次の行ブロックは、副画像ＹＬＨ３、ＹＨＬ３、ＹＨＨ３、ＵＬＨ３、ＵＨＬ３、ＵＨＨ３、ＶＬＨ３、ＶＨＬ３、及びＶＨＨ３の各々の第２行を含む。副画像ＹＬＨ３、ＹＨＬ３、ＹＨＨ３、ＵＬＨ３、ＵＨＬ３、ＵＨＨ３、ＶＬＨ３、ＶＨＬ３、及びＶＨＨ３の残りの行も同様に配列し、順次の行ブロックとして伝送する。
【００３４】
第２分解レベル、そして更に第１分解レベルも、種々の副画像からの行を同様に順序付けして又は交錯させて伝送する。
【００３５】
以上のように、図４の方法によれば、画像を一連の分解レベルとして伝送し、空間解像度のレベルを徐々に高めて原画像の漸進的再構成を可能にする。更に、情報の伝送は、１ラインずつ又は１行ずつ行う。所与の分解レベル内で、全副画像及び全カラー平面からの行情報を含む最初の行についての全情報を、単一行ブロックとして伝送する。これによって、画像を受信した際、１ラインずつ再構成することができるようになる。従って、ユーザは、荒い解像度で画像を視認した後、いつでも伝送を中断する機会を許されることになる。
【００３６】
図５は、画像を受信し再構成する際の好適なステップを示す。ブロック４０は、先に説明した行ブロックを受信するステップを示す。ステップ４１ないし４５は、各行ブロックを逆変換し表示することによって、解像度レベルを高めながら静止画像に対応する連続画素行を再構成する処理を含む。これらのステップは、各行ブロックが受信される際に、当該行ブロックに対して行う。ステップ４１はエントロピ復号化から成り、ステップ４２はスカラ逆量子化(scalr unquantization)から成り、ステップ４３は逆ウエーブレット変換から成り、ステップ４４はＹＵＶ／ＲＧＢ変換から成る。これらのステップを、現分解レベルの各行に対して実行することにより、次に高い分解レベルの対応する１つ又は複数の行を再構成する。この再構成によって、解像度レベルの上昇に対応してサイズを拡大させて、一連の再構成画像を得る。
【００３７】
ステップ４５は、各分解レベルの各連続画素行を受信し再構成しつつ、表示する処理から成る。これによって、ユーザは、画像の受信中にその評価を行うことができ、画像全体の転送又は１つの分解レベル全体の転送すら待つ必要がなくなる。ステップ４５は、各再構成連続画像を実際に表示する前に、それを共通サイズに拡大するステップを含むことが好ましい。かかる拡大は、公知技術に従って双線形補間(bilinear interpolation)又は画素平均化(pixel averaging)を行うことによって実現することが好ましい。また、表示ステップ４５は、原画像を生成するのに用いたカラー・パレットよりも小さいカラー・パレットを用いて画像を表示しなければならない場合、適切なディザ処理も含む場合がある。
【００３８】
図６及び図７に、単一行ブロックの伝送及び再構成を、図式的に示す。図６は、基本分解レベルのＹ、Ｕ、及びＶのＬＬ副画像５１、５２、及び５３を示し、単一画素行ｘを各ＬＬ副画像から選択する。選択した画素行を結合して、１行ブロック５４を形成する。単一行ブロックを１ブロックとして伝送する。かかる伝送の後、エントロピ復号化、逆量子化、逆変換、及びＹＵＶ／ＲＧＢ変換ステップ５５ないし５８を実行する。これによって、再構成画像５９の単一行ｘを生成する。ＬＬ副画像の順次の行をブロック化し、伝送し、再構成することによって、基本分解レベルにおいて画像５９の全画素行を生成する。
【００３９】
図７は、ある分解レベルのＹ、Ｕ、及びＶ副画像６１、６２、及び６３を示す。これは基本分解レベルであっても、そうでなくてもよい。この場合の伝送はＬＬ副画像を含まない。再び、単一画素行ｘを各副画像から選択する。選択した画素行を結合して隣接した単一の行ブロック６４を形成し、これを１ブロックとして伝送する。かかる伝送の後、ステップ６５ないし６８のエントロピ復号化、逆量子化、逆変換、及びＹＵＶ／ＲＧＢ変換を実行する。これによって、以前に得られたよりも高い解像度で、再構成画像５９の単一行ｘを生成する。副画像の順次の行をブロック化し、伝送し、再構成して、現分解レベルの解像度で、画像５９の全画素行を生成する。この処理を各分解レベルで繰り返し、更に解像度レベルを高めて画像５９を表示する。
【００４０】
画像伝送のこの特定の構成及びタイミングによって、ユーザは最も早い時点で画像の各部分を視認することができる。まず、最上行から開始し、下方向に移行して、基本分解レベルのＬＬ副画像に対応する基本又は低解像度レベルで画像を描く。基本分解レベルの残りの副画像を受信している間に、この場合も１行ずつ、表示を更新する。ユーザは、画像の上端から下端に徐々に生じつつある鮮明度のわずかな上昇を認めることになる。画像を完全にその元の解像度で再構成するまで、後続する分解レベルを受信している間に、鮮明度を更に高めていく。ユーザはいつでも伝送を中断することができる。
【００４１】
図８ないし図１２に示す一連の表示によって、その結果を例示する。初期の画像表現は、図８に示すように、かなり低い解像度で現れる。この表現は、双線形補間の使用を反映していることに注意されたい。これによって、画像の認識可能性を大幅に高めている。次に高い分解レベルの行ブロックを受信し逆変換するにつれ、図８の荒い画像を徐々に、１行ずつ下から上に更新して行き、そして図９に示すような画像表現に達する。更に次の分解レベルの受信及び逆変換によって、図１０及び図１１の表現に達する。最後の分解レベルを受信した結果、図１２の高解像度画像を得る。ユーザにとって、この視覚的効果は楽しいものであろう。一連の不連続な画像(disjointed image)を、無関係に増大するサイズで見る代わりに、ユーザは、非常に高い解像度まで徐々に１行ずつ鮮明化していく、固定サイズの単一画像を見ることになる。
【００４２】
受信側コンピュータが比較的遅い場合、図５の再構成ステップ４１ないし４５を、受信したＹＵＶ画像の輝度（Ｙ）平面のみを再構成し表示するよう実施することもできる。輝度平面は、原カラー画像のグレイスケール表現として現れ、多くの場合画像を前もって視認するためには満足なものである。ユーザが原画像のフルカラー表示を要求するまで、色（ＵＶ）平面の更なる再構成を延期することができる。
【００４３】
上述の分解し、圧縮し、順番に並べたフォーマットで静止画像を実際に記憶することには利点がある。これによって記憶空間を最小限にすることができ、こうしなければ各転送の前又は間に画像データを変換し配列するために必要となる、繰り返し処理にかかる費用も、最小限にすることになる。従って、本発明は、静止画像を記憶するために、図１３に図式的に示すように構成したデータ・ファイルを含む。このデータ・ファイルを全体的に参照番号７０で示す。これは、徐々に高めた解像度レベルで元の静止画像を表わす複数の分解レベルを含む。この分解レベルは、解像度レベルが高くなる順に、ファイル内に配列する（図１３の上から下に示す）。例えば、第４即ち基本分解レベルからのＬＬデータを、まずデータ・ブロック７１に記憶し、第４分解レベルの残りのＬＨ、ＨＬ、及びＨＨデータを、データ・ブロック７２に記憶する。次に、データ・ブロック７４に第３分解レベルを記憶し、データ・ブロック７６に第２分解レベルを記憶し、データ・ブロック７８に第１分解レベルを記憶する。
【００４４】
上述のように、各分解レベルは複数の副画像を含み、これによって、原画像に対応する画像表現の再構成を可能にする。副画像は、画像表現の各行に対応する副画像値の各行を有する。副画像は、離散ウエーブレット変換によって変換することが好ましい。
【００４５】
各分解レベルは、静止画像の各輝度及びクロミナンス平面に対して、別個の副画像集合を有する。しかしながら、種々の副画像の行を、データ・ファイル内及び各特定分解レベル内で配列することによって、図１３に示すような行ブロックを形成する。図１３内の各行ブロックを、符号ＲＢ＃xで示す。ここで＃は分解レベルを示し、添字の値は、当該分解レベルの副画像のある特定の行を示す。図示のように、副画像の最上行１から開始し、副画像の最下行で終了するように、行ブロックを配列する。値Ｋは、第１分解レベルの副画像内の行数を示す。
各行ブロック内の行は、当該行ブロックを含む分解レベルによって与えられる画像表現の単一共通行に対応する。各行ブロックは、前記単一行を再構成するために必要なデータを全て含む。具体的には、各行ブロックは、その分解レベルの各副画像又は少なくとも複数の副画像からの１データ行を含む。例えば、単一の行ブロックは、ＹＬＨ＃x、ＹＨＬ＃x、ＹＨＨ＃x、ＵＬＨ＃x、ＵＨＬ＃x、ＵＨＨ＃x、ＶＬＨ＃x、ＶＨＬ＃x、及びＶＨＨ＃xを含み、ここでｘは副画像のある特定の行を示す。行ブロックは、ランレングス符号化及びハフマン符号化の一形式を用いて圧縮することが好ましい。
【００４６】
本発明は、比較的低速の通信リンク上で静止画像を転送する際に必要となる改良を提供するものである。ユーザは、初期の低解像度での画像表現の解像度を高め、１ラインずつ徐々に最大解像度まで鮮明化する表示画像表現を見ることができるので、前もって画像を見るとき、楽しくしかも望ましいという特有の利点がある。この特定の分解方法を用いて、それらの計算効率を高め、効率的なデータ圧縮を可能とするという、更に別の利点も得ることができる。
【００４７】
特許法に従って、本発明の構造及び方法の特徴について、ある程度具体的な表現で記述した。しかしながら、ここに開示した手段は本発明を実施する好適な形態を構成しているので、本発明はここに示し記述した具体的な構造に限定されるものでないことは、理解されよう。従って、本発明は、特許請求の範囲の適正な範囲内に該当するそのあらゆる形態又は変更は、均等論に従って適切に解釈されることを主張する。
【図面の簡単な説明】
【図１】図２及び図３と共に、本発明方法による種々の分解レベルにおける静止画像を示す図。
【図２】図１及び図３と共に、本発明方法による種々の分解レベルにおける静止画像を示す図。
【図３】図１及び図２と共に、本発明方法による種々の分解レベルにおける静止画像を示す図。
【図４】本発明による、静止画像を伝送する際に好適なステップを示す流れ図。
【図５】本発明による、静止画像を受信し表示する際に好適なステップを示す流れ図。
【図６】本発明の上記好適なステップの図式表現を表わす図。
【図７】本発明の上記好適なステップの図式表現を表わす図。
【図８】図９〜図１２と共に、図１の静止画像を解像度レベルを徐々に高めて受信し表示した場合、どのように見えるかを例示する図。
【図９】図８及び図１０〜図１２と共に、図１の静止画像を解像度レベルを徐々に高めて受信し表示した場合、どのように見えるかを例示する図。
【図１０】図８、図９、図１１及び図１２と共に、図１の静止画像を解像度レベルを徐々に高めて受信し表示した場合、どのように見えるかを例示する図。
【図１１】図８〜図１０及び図１２と共に、図１の静止画像を解像度レベルを徐々に高めて受信し表示した場合、どのように見えるかを例示する図。
【図１２】図８〜図１１と共に、図１の静止画像を解像度レベルを徐々に高めて受信し表示した場合、どのように見えるかを例示する図。
【図１３】本発明の好適実施形態による、静止画像を記憶するためのデータ・ファイルを示す線図。
【符号の説明】
１０：原画像
１２：第１分解レベル
１４：第２分解レベル
７０：データファイル
７１〜７８：データ・ブロック
【図１】
0003847828.tif 000008
【図２】
0003847828.tif 000009
【図３】
0003847828.tif 000010
【図４】
0003847828.tif 000011
【図５】
0003847828.tif 000012
【図６】
0003847828.tif 000013
【図７】
0003847828.tif 000014
【図８】
0003847828.tif 000015
【図９】
0003847828.tif 000016
【図１０】
0003847828.tif 000017
【図１１】
0003847828.tif 000018
【図１２】
0003847828.tif 000019
【図１３】
0003847828.tif 000020