(57)【要約】【課題】原画像の復元性能が高く記憶容量を削減可能であると同時に、処理リソースを合理的に利用した合理的な圧縮を提供する。【解決手段】本発明の画像処理方法は、固定記憶装置内の画像を選択し、コンピュータのメモリにロードし、前記ロードされた画像を、ピクセル値の初期２次元配列にし、このピクセル値の初期２次元配列を、軸方向に徐々に分割される符号の２次元配列と、分割された２次元配列の中の符号の２ｘ２配列各々のセルの１次元値の一つの対に変換される。最後に、ピクセル値の２次元配列の各々と１次元値の対の各々が、選択された画像の圧縮形式として固定記憶装置に格納される。【選択図】図１
2020021969.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、
コンピュータの固定記憶装置内にある画像を選択するステップと、
前記選択された画像を前記コンピュータのメモリにロードするステップと、
前記コンピュータのプロセッサによって、前記ロードされた画像を前記メモリ内で複数のピクセル値の初期２次元配列として表現するステップと、
前記ピクセル値の初期２次元配列を、軸方向に漸進的に分割されて行く複数の２次元配列符号と、該分割された２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値と、から成る階層、に変換するステップと、
前記２次元配列符号の各々と前記1対の１次元値の各々とを、前記選択された画像の圧縮形式として固定記憶装置に保存するステップと、を含むこと
を特徴とする方法。
【請求項２】
前記ピクセル値が少なくとも１つの色濃度値を含むこと
を特徴とする請求項１に記載の方法。
【請求項３】
前記色濃度値の各々は、色空間の８ビット濃度値３つの組み合わせであること
を特徴とする請求項２に記載の方法。
【請求項４】
前記ピクセル値を初期２次元配列の前記階層へ変換するステップが、前記初期２次元配列を再帰的な符号化操作に入力するステップを含み、該再帰的な符号化操作は、入力として特定のサイズのグリッドを受信し、出力として、グリッドの特定されたサイズが１ｘ１である場合には、グリッドの直列化された形式を生成し、かつ、グリッドの特定されたサイズが１ｘ１より大きい場合には、特定されたサイズを持つグリッドを2分した半分のサイズの２つの符号化されたグリッドと、前記グリッドのダウンサンプリングされた形式を入力として受けとる前記符号化操作によって生成された出力の復号化形式の否定がとられた形式のアップサンプリングされた形式と前記グリッドとの和の絶対値に対応する要素毎の正負の符号を示す正負符号配列を表すビットストリームと、の連結体を生成し、前記符号化操作の再帰呼び出しのすべてが終了して戻って来た後にできる前記連結体は、前記階層を示していること
を特徴とする請求項１に記載の方法。
【請求項５】
前記階層を前記コンピュータの前記メモリにロードするステップと、
前記軸方向に漸進的に分割されて行く２次元配列符号と、分割後の前記２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る前記階層から、再構成されたピクセル値の２次元配列を生成するステップとを、さらに含むこと
を特徴とする請求項１に記載の方法。
【請求項６】
前記階層を前記コンピュータの前記メモリにロードするステップと、
前記軸方向に漸進的に分割されて行く２次元配列符号と、分割後の前記２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る前記階層から、再構成されたピクセル値の２次元配列を生成するステップとをさらに含み、
該再構成されたピクセル値の２次元配列を生成するステップは、前記連結体によって定義された前記階層を、サイズを示すデータストリームを入力として受け取り、かつ出力を生成する再帰的な復号化操作に入力するステップによって実現され、
該復号化操作は、示されたサイズが１ｘ１である場合に、前記データストリームの非直列化された形式を出力として生成し、かつ、
示されたサイズが１×１より大きい場合には、前記復号化操作は、（１）示されたサイズの半分のサイズである連結が連結解除されたものの第１の部分を入力として受け取る復号化処理によって生成された第１の出力グリッドのアップサンプリングされた形式と、（２）前記連結の連結解除されたものの非直列化された第２の配列の符号部と、前記示されたサイズの半分のサイズである前記連結の連結解除されたものの第３の部分を入力として受け取る前記復号化処理によって生成された第３の出力グリッドのアップサンプリングされた形式との要素単位の積と、の加算からできる合計のピクセル値のグリッドを出力として生成し、前記復号化操作の再帰的呼び出しがすべて終了して戻って来た後の前記合計は、再構築されたピクセル値の２次元配列を定義していること
を特徴とする請求項４に記載の方法。
【請求項７】
メモリと少なくとも１つの中央処理装置（ＣＰＵ）を備えたホストコンピュータと、
画像を保存する固定記憶装置と、
前記ホストコンピュータの前記メモリで実行されるコンピュータ・プログラム命令を含む画像処理モジュールと、を含む画像処理データ処理システムであって、
前記コンピュータ・プログラム命令は、
コンピュータの固定記憶装置内にある画像を選択するステップと、
前記選択された画像を前記コンピュータのメモリにロードするステップと、
前記コンピュータのプロセッサによって、前記ロードされた画像を前記メモリ内で複数のピクセル値の初期２次元配列として表現するステップと、
前記ピクセル値の初期２次元配列を、軸方向に漸進的に分割されて行く複数の２次元配列符号と、該分割された２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値と、から成る階層、に変換するステップと、
前記２次元配列符号の各々と前記1対の１次元値の各々とを、前記選択された画像の圧縮形式として固定記憶装置に保存するステップと、を実行すること
を特徴とするシステム。
【請求項８】
前記ピクセル値が少なくとも１つの色濃度値を含むこと
を特徴とする請求項７に記載のシステム。
【請求項９】
前記色濃度値の各々は、色空間の８ビット濃度値３つの組み合わせであること
を特徴とする請求項８に記載のシステム。
【請求項１０】
前記ピクセル値を初期２次元配列の前記階層へ変換するステップが、前記初期２次元配列を再帰的な符号化操作に入力するステップを含み、該再帰的な符号化操作は、入力として特定のサイズのグリッドを受信し、出力として、グリッドの特定されたサイズが１ｘ１である場合には、グリッドの直列化された形式を生成し、かつ、グリッドの特定されたサイズが１ｘ１より大きい場合には、特定されたサイズを持つグリッドを2分した半分のサイズの２つの符号化されたグリッドと、前記グリッドのダウンサンプリングされた形式を入力として受けとる前記符号化操作によって生成された出力の復号化形式の否定がとられた形式のアップサンプリングされた形式と前記グリッドとの和の絶対値に対応する要素毎の正負の符号を示す正負符号配列を表すビットストリームと、の連結体を生成し、前記符号化操作の再帰呼び出しのすべてが終了して戻って来た後にできる前記連結体は、前記階層を示していること
を特徴とする請求項７に記載のシステム。
【請求項１１】
前記コンピュータ・プログラム命令は、
前記階層を前記ホストコンピュータの前記メモリにロードするステップと、
前記軸方向に漸進的に分割されて行く２次元配列符号と、分割後の前記２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る前記階層から、再構成されたピクセル値の２次元配列を生成するステップとを、さらに実行すること
を特徴とする請求項７に記載のシステム。
【請求項１２】
前記コンピュータ・プログラム命令は、
前記階層を前記ホストコンピュータの前記メモリにロードするステップと、
前記軸方向に漸進的に分割されて行く２次元配列符号と、分割後の前記２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る前記階層から、再構成されたピクセル値の２次元配列を生成するステップとをさらに実行し、
該再構成されたピクセル値の２次元配列を生成するステップは、前記連結体によって定義された前記階層を、サイズを示すデータストリームを入力として受け取り、かつ出力を生成する再帰的な復号化操作に入力するステップによって実現され、
該復号化操作は、示されたサイズが１ｘ１である場合に、前記データストリームの非直列化された形式を出力として生成し、かつ、
示されたサイズが１×１より大きい場合には、前記復号化操作は、（１）示されたサイズの半分のサイズである連結が連結解除されたものの第１の部分を入力として受け取る復号化処理によって生成された第１の出力グリッドのアップサンプリングされた形式と、（２）前記連結の連結解除されたものの非直列化された第２の配列の符号部と、前記示されたサイズの半分のサイズである前記連結の連結解除されたものの第３の部分を入力として受け取る前記復号化処理によって生成された第３の出力グリッドのアップサンプリングされた形式との要素単位の積と、の加算からできる合計のピクセル値のグリッドを出力として生成し、前記復号化操作の再帰的呼び出しがすべて終了して戻って来た後の前記合計は、再構築されたピクセル値の２次元配列を定義していること
を特徴とする請求項１０に記載のシステム。
【請求項１３】
画像処理用コンピュータ・プログラム製品であって、該コンピュータ・プログラム製品は、プログラム命令と共に実体化され、該プログラム命令を保存するコンピュータ可読記憶媒体を含み、
前記プログラム命令はデバイスによって実行されて該デバイスに一つの方法を実行させ、
該方法は、
コンピュータの固定記憶装置内にある画像を選択するステップと、
前記選択された画像を前記コンピュータのメモリにロードするステップと、
前記コンピュータのプロセッサによって、前記ロードされた画像を前記メモリ内で複数のピクセル値の初期２次元配列として表現するステップと、
前記ピクセル値の初期２次元配列を、軸方向に漸進的に分割されて行く複数の２次元配列符号と、該分割された２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値と、から成る階層、に変換するステップと、
前記２次元配列符号の各々と前記1対の１次元値の各々とを、前記選択された画像の圧縮形式として固定記憶装置に保存するステップと、を含むこと
を特徴とするコンピュータ・プログラム製品。
【請求項１４】
前記ピクセル値が少なくとも１つの色濃度値を含むこと
を特徴とする請求項１３に記載のコンピュータ・プログラム製品。
【請求項１５】
前記色濃度値の各々は、色空間の８ビット濃度値３つの組み合わせであること
を特徴とする請求項１４に記載のコンピュータ・プログラム製品。
【請求項１６】
前記ピクセル値を初期２次元配列の前記階層へ変換するステップが、前記初期２次元配列を再帰的な符号化操作に入力するステップを含み、該再帰的な符号化操作は、入力として特定のサイズのグリッドを受信し、出力として、グリッドの特定されたサイズが１ｘ１である場合には、グリッドの直列化された形式を生成し、かつ、グリッドの特定されたサイズが１ｘ１より大きい場合には、特定されたサイズを持つグリッドを2分した半分のサイズの２つの符号化されたグリッドと、前記グリッドのダウンサンプリングされた形式を入力として受けとる前記符号化操作によって生成された出力の復号化形式の否定がとられた形式のアップサンプリングされた形式と前記グリッドとの和の絶対値に対応する要素毎の正負の符号を示す正負符号配列を表すビットストリームと、の連結体を生成し、前記符号化操作の再帰呼び出しのすべてが終了して戻って来た後にできる前記連結体は、前記階層を示していること
を特徴とする請求項１３に記載のコンピュータ・プログラム製品。
【請求項１７】
前記方法は、
前記階層を前記コンピュータの前記メモリにロードするステップと、
前記軸方向に漸進的に分割されて行く２次元配列符号と、分割後の前記２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る前記階層から、再構成されたピクセル値の２次元配列を生成するステップとを、さらに含むこと
を特徴とする請求項１３に記載のコンピュータ・プログラム製品。
【請求項１８】
前記方法は、
前記階層を前記コンピュータの前記メモリにロードするステップと、
前記軸方向に漸進的に分割されて行く２次元配列符号と、分割後の前記２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る前記階層から、再構成されたピクセル値の２次元配列を生成するステップとをさらに含み、
該再構成されたピクセル値の２次元配列を生成するステップは、前記連結体によって定義された前記階層を、サイズを示すデータストリームを入力として受け取り、かつ出力を生成する再帰的な復号化操作に入力するステップによって実現され、
該復号化操作は、示されたサイズが１ｘ１である場合に、前記データストリームの非直列化された形式を出力として生成し、かつ、
示されたサイズが１×１より大きい場合には、前記復号化操作は、（１）示されたサイズの半分のサイズである連結が連結解除されたものの第１の部分を入力として受け取る復号化処理によって生成された第１の出力グリッドのアップサンプリングされた形式と、（２）前記連結の連結解除されたものの非直列化された第２の配列の符号部と、前記示されたサイズの半分のサイズである前記連結の連結解除されたものの第３の部分を入力として受け取る前記復号化処理によって生成された第３の出力グリッドのアップサンプリングされた形式との要素単位の積と、の加算からできるピクセル値の合計のグリッドを出力として生成し、前記復号化操作の再帰的呼び出しがすべて終了して戻って来た後の前記合計は、再構築されたピクセル値の２次元配列を定義していること
を特徴とする請求項１６に記載のコンピュータ・プログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関し、より詳細には、信号の損失、破損、およびネットワーク帯域幅変動を考慮した画像圧縮および解凍に関する。
【背景技術】
【０００２】
画像は、哺乳類の視覚系、すなわち、脳と協調する目によって処理される２次元アナログ信号である。コンピューティング技術は、哺乳類の目と似たやり方で画像群を処理できるが、そのためにはアナログ信号のデジタル表現が必要である。したがって、当然のことながら、画像処理コンピューティングシステムは、画像を反映するアナログ信号をデジタル表現、一般的にはグリッド内のピクセルの２次元配列に変換する。しかし、大きな画像、特にカラー画像に対するピクセルの２次元配列を保存することは大きな問題である。実際、一般に理解されているように、大量のデジタル画像を保存するために必要な記憶容量は非常に大きくなる可能性がある。同様に、コンピュータ通信ネットワークを介してデジタル画像を送信することは、サイズが大きなの画像の存在、および、画像を送信する通信の帯域幅に限界があるため、問題が起こる場合がある。
【０００３】
上記の理由から、画像圧縮は、コンピューティングの重要な分野であることが認識されている。画像圧縮は、一般的に言えば、画像の記憶容量要件を軽減する処理である。画像の圧縮は、画像損失のある場合と画像損失のない場合がある。画像損失のない圧縮では、解凍された画像群が原画像の正確なレプリカになる圧縮形式に圧縮する。しかし、画像損失のある圧縮では、原画像のサイズをさらに大幅に縮小するために、前記原画像の細部が失われることがある。今日、画像損失のない圧縮と画像損失のある圧縮の両方とも多くの多様な画像圧縮技術が存在し、それぞれが目的とする結果、例えば、可能な最高の圧縮率、可能な最良の画質、最短の計算時間、可能な最小の計算リソース利用、および、ノイズ耐性と信号伝送性能等、によって多様なものがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施形態は、画像圧縮及び解凍における当該技術分野の上記欠陥を解決し、画像処理の新規かつ非自明な方法、システム、及びコンピュータ・プログラム製品を提供することが目的である。
【０００５】
本発明の一実施形態では、画像処理方法は、コンピュータの固定記憶装置内にある画像を選択し、その選択された画像をコンピュータのメモリにロードするステップを含む。該方法は、前記コンピュータのプロセッサによって、ロードされた前記画像を前記メモリ内で複数のピクセル値の初期２次元配列として表現するステップをさらに含む。次のステップで、前記ピクセル値の初期２次元配列は、軸方向に漸進的に分割されて行く２次元配列符号と、該分割された２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る階層、に変換される。最後のステップで、前記２次元配列符号の各々と前記1対の１次元値は、前記選択された画像の圧縮形式として固定記憶装置に保存される。
【０００６】
前記選択された画像の圧縮形式が前記固定記憶装置に格納されると、前記圧縮形式の画像は次のように解凍される。まず、前記階層がコンピュータのメモリにロードされる。次に、再構成されたピクセル値の２次元配列が、軸方向に漸進的に分割されて行く２次元配列符号と、該要素が減少された２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る前記階層から生成される。次に、前記再構築されたピクセル値の２次元配列は、コンピュータのディスプレイに前記原画像として表示される。
【０００７】
前記実施形態の一態様では、前記ピクセル値の初期２次元配列の前記階層への変換は、離散的かつ再帰的な符号化処理を含む。該符号化処理は、前記初期２次元配列を再帰的な符号化操作に入力し、ビットストリーム表現を生成するステップを含む。該再帰的な符号化操作は、特定のサイズのグリッドを入力として受信し、場合によって可能な二つの出力を生成する。第1に、グリッドの特定されたサイズが１ｘ１である場合には、該再帰的符号化操作は、出力として、グリッドの直列化された形式を生成する。しかし、グリッドの指定されたサイズが１ｘ１より大きい場合には、該再帰的符号化操作は、指定されたサイズのグリッドの半分のサイズの２つの符号化されたグリッドと、前記グリッドのダウンサンプリングされた形式を入力として受けとる前記符号化操作によって生成された出力の復号化形式を否定がとられた形式のアップサンプリングされた形式と前記グリッドとの和の絶対値に対応する要素毎の正負の符号を示す正負符号配列の直列形式と、の連結体を出力として生成する。その結果、前記符号化操作の再帰呼び出しのすべてが終了し戻って来た後にできる連結は、前記階層を定義している。
【０００８】
実施形態の別の態様では、初期画像のピクセル値の２次元配列の再構成は、離散的かつ再帰的な復号化処理を含む。該復号化処理は、前記階層をコンピュータのメモリにロードするステップと、軸方向に漸進的に分割されて行く２次元配列符号と、該要素が減少された２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る前記階層から、再構成されたピクセル値の２次元配列を生成するステップとを含む。具体的には、前記連結によって定義された前記階層は、サイズを示すデータストリームを入力として受け取る再帰的な復号化操作に入力される。該復号化操作は、場合によって可能な２つの出力を生成する。第1の出力は、示されたサイズが１ｘ１である場合に、前記データストリームの非直列化された形式として生成される。
【０００９】
しかし、示されたサイズが１×１より大きい場合には、前記復号化操作は、出力として、（１）示されたサイズの半分のサイズである連結の連結解除されたものの第１の部分を入力として受け取る復号化処理によって生成された第１の出力グリッドのアップサンプリングされた形式と、（２）前記連結の連結解除されたものの非直列化された第２配列の符号部と、前記示されたサイズの半分のサイズである前記連結の連結解除されたものの第３の部分を入力として受け取る前記復号化処理によって生成された第３の出力グリッドのアップサンプリングされた形式との要素単位の積と、の合計からできるピクセル値のグリッドを出力として生成する。さらに、前記復号化操作の再帰的呼び出しがすべて終了し戻って来た後の合計は、再構築されたピクセル値の２次元配列を定義している。
【００１０】
本発明の別の実施形態では、画像処理用データ処理システムは、メモリと少なくとも一つの中央処理装置（ＣＰＵ）とを有するホストコンピュータを含む。該システムには、画像を記憶する固定記憶装置も含まれる。最後に、該システムは画像処理モジュールを含む。該画像処理モジュールは、前記コンピュータの前記メモリで実行されるコンピュータ・プログラム命令を含む。該コンピュータ・プログラム命令は、前記固定記憶装置内の画像を選択し、該選択した画像を前記メモリにロードし、前記メモリ内にロードされた画像を前記ＣＰＵがピクセル値の初期２次元配列として表現し、該ピクセル値の初期２次元配列を、前記ＣＰＵが、軸方向に漸進的に分割されて行く２次元配列符号と、該分割された２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る階層に変形し、前記固定記憶装置内に、前記２次元配列符号の各々と前記１次元値の対の各々とを、前記選択した画像の圧縮形式として前記ＣＰＵが格納するように構成されている。
【００１１】
本発明の別の態様は、一部は以下の記載で説明され、一部はその記載から自明であり、または本発明の実施により知ることができる。本発明の態様は、添付の特許請求の範囲で特に明示される要素およびその組み合わせによって実現され達成されるであろう。前述の概略的な記載および以下の詳細な記載の両方とも、代表例および説明例であるだけであり、特許請求される本発明を限定するものではないことを理解されたい。
【図面の簡単な説明】
【００１２】
添付図面は、本明細書に組み込まれ、かつ、その一部を構成し、本発明の実施形態を図解し、本明細書の記載と合わせて本発明の原理を説明するように働く。本明細書で説明された実施形態は現在は好ましい形態であるが、本発明はここに示された精細な配置および手段に限定されないことを理解されたい。
【００１３】
【図１】階層的な画像符号化処理の図解である。
【図２】離散的、再帰的、階層的な画像の符号化および復号化処理のために構成されたデータ処理システムの概略図である。
【図３】離散的、再帰的、階層的な画像符号化処理を説明するフローチャートである。
【図４】離散的、再帰的、階層的な画像復号化処理を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
本発明の複数の実施形態は、階層画像符号化処理を提示する。本発明の一実施形態によれば、原画像は該画像を表すグリッドの再帰的符号化処理により圧縮され、ノードの階層ツリーが生成される。該階層ツリーでは、該ツリーの中間ノードの各々が、前記画像を表すグリッドのサイズから始まり、漸進的にグリッドのサイズが減って行き、最終的に２ｘ２次元のグリッドの集合になる異なる符号配列を表す。次に、葉ノードは、前記元のグリッドから取り出された複数の２ｘ２グリッドからダウンサンプリングされた該２ｘ２グリッドにそれぞれ対応する異なる１ｘ１ピクセルを表している。階層ツリーが作成されると、該ツリーは原画像の圧縮形式として保存される。前記原画像の再構成画像は再帰的復号化処理によって生成され、前記階層ツリーの１ｘ１ピクセルの葉ノードがアップサンプリングされ、漸進的に高次元の符号配列へと結合され、前記原画像のサイズと同じサイズの最終グリッドが生成される。従来の圧縮には前記階層ツリーで提供される復元性能と漸進的な復号性が欠けていたが、前述のようにして、原画像の復元性が高く記憶容量を削減可能な圧縮表現を提供すると同時に、処理リソースを合理的に利用し相当に高い圧縮率を得ることができる。
【００１５】
次の説明では、図１は階層的な画像符号化のための処理を示す。図１に示すように、原画像１２０がコンピューティングシステムのメモリにロードされ、離散的、再帰的、階層的な画像符号化器１１０がメモリ内に原画像１２０のグリッド表現１５０を生成する。グリッド表現１５０は特定のＮｘＮサイズグリッドであり、濃度値をカプセル化した異なる複数のセルを含んでいる。濃度値の代表例には、グレーの値に対応する８ビットの値がある。離散的、再帰的、階層的な画像符号化器１１０は、グリッド表現１５０を、軸方向に漸進的にサイズが縮減されていく２次元配列符号１３０と、サイズが縮減された２次元配列符号１３０の中の２×２次元配列１３０の各々に対応する１次元値１４０の対とから成る階層に変換することによって、グリッド表現１５０を処理する。次に、前記階層が原画像１２０の圧縮形式１６０として固定記憶装置１７０に格納される。その次に、原画像１２０の再構成された形式は、軸方向に漸進的にサイズが縮減されていく２次元配列符号１３０と、サイズが縮減された２次元配列符号１３０の中の２×２次元配列符号１３０の各々に対応する１次元値１４０の対とから成る前記階層に適用可能な復号化処理によって取得することができる。
【００１６】
なお、上記の処理は単一の濃度値のグリッドから成るグレースケール画像に関して実施されることが示されているが、上記の処理はカラー画像に拡張することができることがわかるであろう。これに関して、上記処理をカラー画像に拡張するためには、グリッドの各セルに３つのスカラー値が存在することが前提となる。たとえば、赤、緑、青の色の濃度値に対応するか、又は、「ＹＵＶ」色空間として公知の、第1のグレースケールの濃度値とさらに２つの彩度の濃度値に対応する、スカラー値がある。したがって、本発明の処理が３回繰り返され、３つの異なる階層を生成するために、３色の値の組の各々の値に対して１回ずつ上述の処理が行われる。
【００１７】
図１に関連して説明した処理は、データ処理システムに実装することができる。さらに説明すると、図２は、離散的、再帰的、階層的な画像符号化処理および復号化処理のために構成されたデータ処理システムを概略的に示している。該システムは、少なくとも１つのＣＰＵ２１０とメモリ２２０と固定記憶装置２３０とを有するホストコンピュータ２００を含む。該システムはまた、離散的、再帰的、階層的な画像符号化／復号化モジュール３００を含む。モジュール３００はコンピュータ・プログラム命令を含み、該コンピュータ・プログラム命令は、ＣＰＵ２１０によって実行されるとき、固定記憶装置２３０から原画像をメモリ２２０に読み出し、前記原画像のグリッド表現をメモリ２２０に生成するように動作することができる。前記プログラム命令はさらに、前記グリッド表現を処理して、軸方向に漸進的に分割されて行く２次元配列符号と、該要素が減少された２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る階層に変換し、そして固定記憶装置２３０に該階層を格納するするように動作することができる。逆に、前記プログラム命令はまた、軸方向に漸進的に分割されて行く２次元配列符号と、該分割された２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る前記階層を復号化することによって、メモリ２２０内に原画像を再構成するように動作することができる。
【００１８】
符号化処理中の前記プログラム命令の動作をさらに図解すると、図３は、離散的、再帰的、階層的な画像符号化処理を示すフローチャートである。始まりのブロック３００で、符号化処理は、サイズがＮ×Ｎサイズの原画像のグリッド表現から単一の１×１ピクセルのグリッド表現までに亘る、処理対象の入力グリッドを受け取る。ブロック３０５で、前記入力グリッドのサイズが決定され、判定ブロック３１０でサイズが単一ピクセルであると判定されると、ブロック３１５で前記単一ピクセルは複数のビット値のシーケンスに直列化され、ブロック３２０で呼び出した操作命令にリターンされる。しかし、判定ブロック３１０で、サイズが１×１よりも大きいと判定された場合、ブロック３２５で処理が続行される。
【００１９】
ブロック３２５では、前記入力グリッドはダウンサンプリングされて、ダウンサンプリングされたグリッドが生成される。ダウンサンプリングとは、例示すると、前記入力グリッドの連続する２ｘ２次元の各部分について、ダウンサンプリングされたグリッドが前記入力グリッドの半分のサイズになるように、前記部分の各セルのピクセル値を平均して平均値を作り、ダウンサンプリングされたグリッド内に前記平均値に対応するセルを形成することを意味する。ただし、品質を向上させるためにランチョスのリサンプリング技術を使用する等の、他の手法も可能である。次に、ブロック３３０で、該符号化処理は、ブロック３００で、入力グリッドとして前記ダウンサンプリングされたグリッドを用いて再帰的に呼び出される。符号化処理の再帰的に呼び出されたインスタンスから戻ると、返された直列化されたグリッドは連結するために格納される。同時に、ブロック３５０で、前記返された直列化されたグリッドは、復号化されたグリッドを生成するために復号化処理に送られる。これに関して、該復号化処理は、図４でより詳細に説明されるが、該復号化処理への入力として提供される、返された直列化されたグリッドの中間的な再構成体を生成するように動作することができる。
【００２０】
ブロック３５５において、復号化されたグリッドは、最初に否定がとられ、次に、ブロック３６０でアップサンプリングされる。アップサンプリングとは、アップサンプリング対象のグリッドの要素となるセルの各々によって、該アップサンプリング対象のグリッドの要素となるセルの各々の値と同じ値を各々が有するセルから成る２×２のグリッドを生成し、この生成された２×２のグリッドの組み合わせが、前記アップサンプリング対象のグリッドの２倍のサイズのアップサンプリング後のグリッドとなる出力を生成することを意味する。このようにして、ブロック３６５で、アップサンプリング後のグリッドと前記入力グリッドがセル毎の加算により合計され、ブロック３７０で、前記合計されたグリッドのセル毎の絶対値のグリッドが計算される。同時に、ブロック３７５で、前記合計されたグリッド内のセルのピクセル値の正負符号に関して対応するセルの各々に正または負の符号を割り当てることにより、前記合計されたグリッドから正負符号グリッドが導出される。ブロック３８０では、導出された前記正負符号グリッドがビットストリームに直列化され連結のために保存される。
【００２１】
ブロック３８５で、前記セル毎の絶対値グリッドがダウンサンプリングされて、ダウンサンプリング後の絶対値グリッドが生成される。次に、ブロック３９０で、前記ダウンサンプリング後の絶対値グリッドが、ブロック３００の入力として、符号化処理の再帰的呼び出しのインスタンスに入力される。処理結果である直列化されたグリッドが、連結のために保存される。最後に、ブロック３４０で、ブロック３８０で直列化された前記正負符号グリッドと、ブロック３３０および３９０の出力結果である直列化されたグリッドは、ブロック３４０で一つに連結される。ブロック３８０で直列化された前記正負符号グリッドと、ブロック３３０および３９０の出力結果である直列化されたグリッドの連結は順番に行われるので、前記画像の再構築中、前記ビットストリームを復号化器が受信すると、再構築されるべき画像の表示は、隠れている前記原画像を連続的に復号化することができるようにビット毎に漸進的に再構成される。
【００２２】
前記実施形態の代替の態様において、前記連結の順序は、漸進的な再構成の時期を先行させながら、より高次の圧縮を達成するために変えることができる。具体的には、代替の態様では、前記連結の順序は、ブロック３３０及び３９０の出力として得られる直列化されたグリッドから始め、続いて、ブロック３８０の直列化された符号グリッドに進ことができる。その結果、より高性能の圧縮を達成することができるが、この理由は、連結解除の間に、ブロック３９０の出力である直列化されたグリッドの復号化された形式の符号化されたグリッド要素の値がゼロである場合、それは対応する符号ビットが無意味であることを示すので、その結果、復号化処理中にブロック３９０の出力として得られる前記直列化されたグリッドの復号化された形式の２ｘ２アップサンプリングされた形式の、値がゼロであるセルのセル単位の乗算を実行する必要がなくなるので、このため、前記連結の前記符号配列部分からの４ビットをトリミングすることができるからである。
【００２３】
いずれにせよ、ブロック３４０の連結操作に続き、目的とする階層の一部分を反映した連結処理の結果は、次に、例えば、前記符号化処理の別のインスタンスを含めて、前記符号化処理の出力として、ブロック３４５において呼び出し元の処理に返される。前記符号化処理のすべてのインスタンスの実行が完了すると、最終的な連結の結果は、軸方向に漸進的に分割されて行く２次元配列符号と、分割された２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る前記階層を表すビットストリームになる。
【００２４】
本明細書で説明したように、図３の符号化処理は、再帰的な復号化処理に関数呼び出しを組み込んでいる。さらに次の説明において、図４は、離散的、再帰的、階層的な画像復号化の処理を説明するフローチャートである。開始ブロック４では、復号化のためにデータストリームが受信され、該データストリームには、通常、軸方向に漸進的に分割されて行く２次元配列符号と、該分割された２次元配列符号の中の複数の２×２配列符号の各々に対する1対の１次元値とから成る階層の一部または全部が反映されている。ブロック４０５では、前記階層の一部のサイズ、すなわち、例えば前記データストリームに紐づけられたメタデータを参照することにより、前記階層の一部に置かれた符号アレイ各々のサイズが決定される。次に、判定ブロック４１０で、前記サイズが１×１次元を示すかどうかが判定される。そうである場合、ブロック４１５において、前記データストリームは直列解除され、この非直列化されたデータストリームは呼び出し元関数に返される。該呼び出し元関数は、復号化関数の別のインスタンスまたは符号化関数のインスタンスを含むことができる。
【００２５】
判定ブロック４１０において、前記サイズが１×１次元より大きいグリッドを示すと判定された場合、ブロック４２５で前記データストリームのサイズは再び決定され、ブロック４３０で前記階層の前記一部が前記決定されたサイズを利用して連結解除され、そして、符号化された左グリッド、直列化された符号配列、および符号化された右グリッドが抽出される。ブロック４３５で、前記符号化された左グリッドは入力データストリームとして復号化処理の別の再帰的インスタンスに渡され、前記符号化された右グリッドは入力データストリームとしてブロック４４５で前記復号化処理のもう一つの別の再帰的インスタンスに渡される。ブロック４４０で前記符号化された左グリッドから得られた復号化グリッドがアップサンプリングされ、ブロック４６０で、ブロック４５５で生成された非直列化された符号配列と乗算される。次にブロック４６５で、前記乗算の結果の積が、前記符号化された右グリッドから得られた復号化されたグリッドがブロック４５０でアップサンプリングされた結果と加算される。最後に、ブロック４７０でその加算の結果の合計グリッドが戻される。前記復号化処理のすべてのインスタンスの実行が完了すると、最終合計グリッドは原画像が再構成された結果になる。
【００２６】
注意すべきは、図３及び図４に関連して説明した処理は、任意のサイズの画像に対応するように調整することができる。具体的には、図３と４の処理を、任意のサイズの画像に対応するように調整するためには、グリッドのダウンサンプリングがグリッドの横幅で起こっても、最後の行または最後の列の長さで起こっても、その長さが奇数であるとき、場合によっては、前記グリッドの最後の行または最後の列それぞれの複製である、余分な行または列がグリッドに追加される。その結果、辺を半分に分けた整数のサイズのダウンサンプリングされた画像を生成するようにすることが可能である。
【００２７】
補足として、図３及び図４に関連して説明した処理は、圧縮比を下げながら画質を向上させて原画像を符号化するように構成することができる。具体的には、図３および図４の処理を調整して画質の高い圧縮を提供するために、画像を符号化した後、その画像の再構成結果を該原画像から減算して残差画像を得る。次に、この残差画像は図３および図４に示すように符号化され、そして復号化される。原画像の再構成結果とこの残差画像との組み合わせにより、画質がより高い原画像の圧縮が行われる。さらに高画質の圧縮は、次第に増えていく残差画像を符号化する上記処理を繰り返すことによって達成することができる。
【００２８】
本願発明はシステム、方法、コンピュータ・プログラム製品またはこれらの任意の組み合わせとして実現される。コンピュータ・プログラム製品は、プロセッサに本願発明の特長を実行させるコンピュータ読み取り可能なプログラム命令を記憶するコンピュータ読み取り可能な記憶媒体またはメディアを含む。コンピュータ読み取り可能な記憶媒体は命令を実行するデバイスによって用いられる命令を保持、記憶する有形のデバイスである。コンピュータ読み取り可能な記憶媒体は、限定を目的としていないが、例えば、電子記憶デバイス、磁気記憶媒体、光記憶媒体、電磁気記憶媒体、半導体記憶媒体または上記した媒体の任意の組み合わせとすることができる。
【００２９】
本明細書中のコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から個別の計算／処理デバイスに、またはネットワークを介して外部コンピュータもしくは外部記憶デバイスにダウンロードできる。コンピュータ読み取り可能なプログラム命令は、スタンドアロンソフトウェアパッケージとして、すべてユーザーのコンピュータ上で実行され、一部ユーザーのコンピュータ上でかつ一部は遠隔にあるコンピュータ上で実行され、またはすべて遠隔にあるコンピュータもしくはサーバー上で実行される。本願発明の特長は、本願発明の実施形態にしたがう、フローチャートによる図解、ならびに／または方法、装置（システム）およびコンピュータ・プログラム製品からなるブロック概略図を参照して本明細書中で説明される。フローチャート図解および／またはブロック概略図中の各ブロックならびにフローチャート図解および／またはブロック概略図中の複数のブロックの組み合わせはコンピュータ読み取り可能な命令によって実装される。
【００３０】
このようなコンピュータ読み取り可能な命令は汎用コンピュータ、専用目的コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサに与えられて、これらコンピュータまたは他のプログラム可能なデータ処理装置プロセッサで実行される命令は、フローチャートのブロックおよび／またはブロック概略図のブロック中に特定される機能／作用を実装する手段を作り出す。このようなコンピュータ読み取り可能な命令はまたコンピュータ読み取り可能な記憶媒体に記憶され、コンピュータ読み取り可能な記憶媒体はコンピュータ、プログラム可能なデータ処理装置および／または他の所定の形式で機能するデバイスに命令する。したがって、命令が記憶されているコンピュータ読み取り可能な記憶媒体は、フローチャートのブロックおよび／またはブロック概略図のブロック中に特定される機能／作用を実装する命令を含む製造物を含む。
【００３１】
前記したコンピュータ読み取り可能な命令はコンピュータ、他のプログラム可能なデータ処理装置または他のデバイスにロードされてコンピュータ、他のプログラム可能なデータ処理装置または他のデバイス上で実行されて、コンピュータが実行するプロセスを作る。その結果、コンピュータ、他のプログラム可能なデータ処理装置または他のデバイス上で実行される命令は、フローチャートのブロックおよび／またはブロック概略図のブロック中に特定される機能／作用を実行する。
【００３２】
添付した図面中のフローチャートとブロック概略図は、本願発明の様々な実施形態にしたがうシステム、方法およびコンピュータ・プログラム製品の可能な実装形態に関するアーキテクチャ、機能および動作を説明する。この点に関して、フローチャートまたはブロック概略図中のブロックの各々は、特別な論理機能を実装するための一つ以上の実行可能な命令を含むモジュール、セグメントまたは部分を表す。代わりの実装のやり方では、ブロック中に示された機能が、添付した図面内に示された命令から生じる。例えば、連続して示される２つのブロックは、実際のところ実質的に同時に実行されてもよく、また必要とする機能によっては、すべてのブロックを逆の順番で実行してもよい。ブロック概略図および／またはフローチャート図解中の各ブロックならびにブロック概略図および／またはフローチャート図解中の複数のブロックの組み合わせは、専用目的のハードウェアに基づいたシステムによって実行することができ、このシステムは特定の機能または作用を実装し、専用の目的のハードウェアとコンピュータ命令の組み合わせを実行することはわかるはずである。
【００３３】
最後に、本明細書中で用いられる専門用語は特定の実施形態のみを説明する目的で使用されたものであり、本願発明を限定することを意図するものではない。本願明細書中で用いられている単数形の「ａ」、「ａｎ」および「ｔｈｅ」は、文脈から明示的に単数と示される場合を除き、複数形も含む。「含む（ｉｎｃｌｕｄｅｓ）」および／または「含んでいる（ｉｎｃｌｕｄｉｎｇ）」という用語が本明細書中で用いられるとき、記載された特徴、整数、ステップ、工程、要素および／または部品が存在することを明らかにし、一つ以上の他の特徴、整数、ステップ、工程、要素、部品および／もしくはこれらの組み合わせが存在することまたは追加されることを除外するものではない。
【００３４】
以下の特許請求の範囲中のすべての手段もしくはすべてのステップを含む機能を行なう要素と同一の構造、材料および動作またはこれらと同等なものは、特許請求の範囲で具体的に記載された特許請求の範囲中の他の要素と組み合わせてその機能を実行するための構造、材料もしくは動作を含むことを意図するものである。本願発明の詳細な説明は、図解と説明を目的として開示されているものであり、開示した形の本願発明にすべてを帰したり、それに限定したりすることを意図するものではない。本願発明の技術的範囲および主旨から逸脱しない変形例や変更例が多数存在することは当業者には明らかである。本願発明の原理を最もよく説明するために、さらに考えられる特別な使用に適する様々な変形例を有する様々な実施形態に対応する本願発明を当業者が理解することができるように、本明細書の実施形態は選択され、記載されたものである。
【００３５】
以上のべたように本明細書の発明を詳細に、かつその実施形態を参照して記載したので、以下の特許請求の範囲に定義された本願発明の技術的範囲から逸脱することのない変形例や変更例が可能であることは明らかである。
【図１】
2020021969.tif 000003
【図２】
2020021969.tif 000004
【図３】
2020021969.tif 000005
【図４】
2020021969.tif 000006
【外国語明細書】
2020021969000001.pdf