(57)【要約】システム及び方法が、デジタル画像を圧縮することができる。記憶装置が、符号によって各々識別されている、予め定められた複数のテンプレートパターンを有する辞書を格納する。分解モジュールが、画像を複数の下位領域に分割する。圧縮モジュールが、画像特徴が各下位領域に最も厳密に一致するテンプレートパターンを辞書から選択する。したがって、圧縮モジュールは、各下位領域が選択されたテンプレートパターンを識別する符号によって表現される画像の圧縮データセットを生成する。データは圧縮されると、復元装置が画像を再構成する。復元装置は、圧縮データセットから符号を継続して使用し、各下位領域に関するテンプレートパターンを辞書から検索し、下位領域のすべてのテンプレートパターンを結合することにより完全な画像を再構成する。出力装置が、再構成された画像を表示する。
2012523765.tif 000002
【特許請求の範囲】
【請求項１】
計算装置でデジタル画像を圧縮するための方法であって、
画像を複数の画像下位領域に分割すること、
符号によって各々識別されている、予め定められた複数のテンプレートパターンを含む辞書から、下位領域の１以上の画像特徴と最も厳密に一致する各下位領域のテンプレートパターンを選択すること、
前記画像の圧縮データセットを生成することを備え、
前記画像の各下位領域が、選択された前記テンプレートパターンを識別する符号によって表現される、方法。
【請求項２】
前記辞書は、最初の下位領域が分析される前に定められている、請求項１に記載の方法。
【請求項３】
前記辞書は、１つ又は複数の下位領域が分析される際に調整される、請求項１に記載の方法。
【請求項４】
前記辞書内の前記複数のテンプレートパターンがいずれも前記画像下位領域に十分に一致しない場合、新しいテンプレートパターンが、前記画像下位領域を圧縮するために前記辞書に生成及び追加される、請求項１に記載の方法。
【請求項５】
前記画像は、予め定めた寸法を有する予め定めた数の下位領域を生成するために幾何学的に分割される、請求項１に記載の方法。
【請求項６】
前記画像は、画像内容に基づいて分割される、請求項１に記載の方法。
【請求項７】
下位領域間の境界が、画像特徴の変化が大きい画像内容の境界と一致する、請求項６に記載の方法。
【請求項８】
各下位領域に対して複数のテンプレートパターンを選択することを備え、
各パターンは、さまざまな画像特徴に対して選択される、請求項１に記載の方法。
【請求項９】
前記符号を用いて各下位領域に対して前記辞書から前記テンプレートパターンを検索することによって前記画像を復元すること、
下位領域のすべてに対する前記テンプレートパターンを結合することによって全体画像を再構成すること、
再構成された画像を表示することを備える、請求項１に記載の方法。
【請求項１０】
各下位領域は、可逆圧縮データを生成するために、前記画像下位領域とその領域に対して選択された前記テンプレートパターンとの間の１以上の画像特徴の差分を表現する差分値によってさらに表現される、請求項１に記載の方法。
【請求項１１】
前記辞書から各下位領域に対する前記テンプレートパターンを検索する前記符号と、１以上の画像特徴に対する前記差分値とを使用することによって前記画像を復元すること、
前記下位領域のすべてに対する前記テンプレートパターン及び前記差分値を組み合わせることによって、全体画像の可逆性の複製を再構成すること、
再構成された画像を表示することを備える、請求項１０に記載の方法。
【請求項１２】
デジタル画像を圧縮するシステムであって、
符号によって各々識別されている、予め定められた複数のテンプレートパターンを有する辞書を格納する記憶装置と、
前記画像を複数の下位領域に分割する分解モジュールと、
各下位領域に対して画像特徴と最も厳密に一致するテンプレートパターンを前記辞書から選択し、前記画像の各下位領域が、その領域に対して選択された前記テンプレートパターンを識別する符号によって表現される前記画像に対する圧縮データセットを生成する圧縮モジュールとを備え、
前記画像の各下位領域が、その領域に対して選択された前記テンプレートパターンを識別する符号によって表現される、システム。
【請求項１３】
前記圧縮モジュールが、前記画像の最初の下位領域を分析する前に前記辞書を定める計算装置を備える、請求項１２に記載のシステム。
【請求項１４】
前記辞書は、１以上の下位領域が分析される際に調整される、請求項１２に記載のシステム。
【請求項１５】
前記圧縮モジュールが、前記複数のテンプレートパターンはいずれも画像下位領域に十分に一致しないと判定する場合、前記圧縮モジュールは、新しいテンプレートパターンを生成し、前記記憶装置は、前記画像下位領域を圧縮するために前記新しいテンプレートパターンを前記辞書に追加する、請求項１２に記載のシステム。
【請求項１６】
前記分解モジュールは、前記画像を予め定めた寸法を有する予め定めた数の下位領域に幾何学的に分割する、請求項１２に記載のシステム。
【請求項１７】
前記分解モジュールは、画像内容に基づいて前記画像を分割する、請求項１２に記載のシステム。
【請求項１８】
前記分解モジュールは、画像特徴の変化が大きい画像内容の境界を識別し、前記画像内容の境界に沿って前記画像を自動的に分割する、請求項１７に記載のシステム。
【請求項１９】
前記圧縮モジュールは、各パターンが、異なる画像特徴に対して前記下位領域に最も厳密に一致するように、各下位領域に対する複数のテンプレートパターンを選択する、請求項１２に記載のシステム。
【請求項２０】
前記画像を再構成するための復元装置であって、前記圧縮データセットからの前記符号を用いて各下位領域に対する前記テンプレートパターンを前記辞書から検索し、前記下位領域のすべてに対する前記テンプレートパターンを結合することによって、全体画像を再構成する前記復元装置と、
再構成された画像を表示する出力装置とを備える、請求項１２に記載のシステム。
【請求項２１】
前記圧縮モジュールは、可逆圧縮データを生成するために、前記画像の前記下位領域とその領域に対して選択された前記テンプレートパターンとの間の１つ又は複数の画像特徴の差分によって各下位領域をさらに表現する、請求項１２に記載のシステム。
【請求項２２】
前記画像を再構成する復元装置であって、前記テンプレートパターンを前記辞書から検索するための前記圧縮データセットからの前記符号と、各下位領域に１つ又は複数の画像特徴に対する前記差分値とを使用し、前記下位領域のすべてのテンプレートパターン及び前記差分値を組み合わせることによって、可逆性の全体画像を再構成する前記復元装置と、
可逆性の再構成された画像を表示する出力装置とを備える、請求項２１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像圧縮、特に画像を表現するのに使用されるデータ量を削減するためのシステム及び方法に関する。
【背景技術】
【０００２】
デジタル撮像は通常、対象物からデジタル画像を生成する。カメラ又は類似の装置によって、実シーン(physical scene)からデジタル画像が直接生成される。あるいは、写真、写真フィルム又は印刷物などのアナログ媒体の別の画像からデジタル画像を得て、スキャナ又は類似の装置によってデジタル媒体が変換される。コンピュータ断層撮影（ＣＴ）スキャン、側方監視レーダー又は電波望遠鏡などのトポグラフィー装置を用いて得られるものなどの多くの技術画像は、非画像データの複雑な処理によって得られる。最終的には、デジタル画像は、幾何学モデル又は数式から計算される。
【０００３】
デジタル画像は、画素を含む。画素は、画像で最も小さい情報である。画素は、規則的な二次元格子に配置され、ドット、正方形又は長方形を使用することによって表現されることが多い。各画素は、原画像サンプルの特性を表現する値を有する。画素又はサンプルの密度を増大させることにより、通常、さらに高い解像度又はさらに厳密な表現の原画像が得られる。各画素の強度は、可変である。表色系では、各画素は、赤、緑及び青又はシアン、マゼンタ、黄及び黒などの３つ又は４つの色成分を有する。
【０００４】
画像解像度は、画像品質の評価を示す。画像解像度は、デジタル画像の画素寸法によって定義される。縦が整数Ｎ画素で横が整数Ｍ画素の画像は、Ｎ×Ｍ画素以下の任意の解像度（画像縦のＮ本のライン、すなわち、Ｎ本の横方向ラインが広がる）を有する。別のよく知られている従来技術では、解像度は、画像内の画素総数と定義され、通常、メガピクセルの数値で与えられ、画素行と画素列を乗算して（Ｎ×Ｍ）、１００万で除算することによって計算される。他の従来技術では、１インチ単位又は１平方インチ単位の画素などの単位長さ当りの画素又は単位面積当りの画素によって解像度を定義する。一般に、これらの計算された画素解像度は、不正確であり（真の解像度は計算された解像度より小さい可能性があり）、真の解像度の近似又は上限となりうる。一般に、解像度が高ければ、画像は細部まで表現される。
【０００５】
画素は、ラスター画像、ラスターマップ又はビットマップ、つまり小さい整数値の２次元配列としてコンピュータメモリに格納される。これらの値は、圧縮形式で送信又は格納されることが多い。ラスター画像の各画素は通常、２次元（２Ｄ）画像領域内の特定の「位置」と、この位置の１つ又は複数の画像特徴の値に関連している。そのような画素サンプルの数と種類によって、デジタル画像が分類される。
【０００６】
画像圧縮は、格納又は送信する画像情報の量を削減するために画像データの冗長性を低下させる。画像圧縮は、「非可逆」（復元データが、データの損失により、元のデータと異なる場合）又は「可逆」（復元データが元のデータに正確に一致する場合）である。データ損失が十分に小さい場合、あるいは、データ削減の便益がデータ損失による損傷を上回る場合は、非可逆データが使用される。可逆データ圧縮は、圧縮データから正確な元のデータを再構成する。元のデータと復元データが同一であることが重要である場合、あるいは、正確な複製の重要性又は元のデータからの許容偏差が未知である場合は、可逆圧縮が使用される。可逆圧縮により圧縮される典型的なデータ形式は、実行可能プログラム及びソースコードである。ポータブルネットワークグラフィックス（ＰＮＧ）やグラフィックスインターチェンジフォーマット（ＧＩＦ）のような画像ファイル形式のいくつかは通常、可逆圧縮のみを使用し、タグイメージファイル形式（ＴＩＦＦ）やマルチイメージネットワークグラフィック（Multiple-image Network Graphics:ＭＮＧ）のような他のものは、可逆圧縮又は非可逆圧縮のいずれかを使用する。
【０００７】
圧縮機構は、符号化及び復号化するために、さまざまな量の処理能力を必要とする場合がある。圧縮方法の品質は、しばしばピーク信号対ノイズ比によって測定される。ピーク信号対ノイズ比は、画像の非可逆圧縮によって導入された誤差又はノイズの量を測定する。しかしながら、視聴者の主観的判断も、圧縮精度の重要な基準、恐らく、最も重要な基準であると考えられる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
画像内容そのものの本質に対して正確であり、しかも画像データの大幅な圧縮ももたらす画像圧縮のシステム及び方法に対しては、未だに要求が満たされておらず、これを有することがきわめて有用であると考えられる。
【課題を解決するための手段】
【０００９】
本発明の実施形態は、画像を多くの下位領域に分割して、既存の画像テンプレートパターンの辞書又はデータベースの中からの１つ又は複数の類似のテンプレートパターンにより各画像下位領域を表現することによって、背景技術の欠陥を克服することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態による、画像を圧縮するためのシステムの概略図である。
【図２】本発明の実施形態による、画像を圧縮するためのデータ構造の概略図である。
【図３】本発明の実施形態による、１つ又は複数の画像フレームの画像データを圧縮するための方法のフローチャートである。
【図４】本発明の実施形態による、１つ又は複数の原画像フレームを復元するために画像データを復元する方法のフローチャートである。
【発明を実施するための形態】
【００１１】
本発明として見なされる内容は、特許請求の範囲において具体的に指摘し、かつ、明瞭に請求する。しかし、本発明は、構成及び操作方法に関しては、発明の目的、特徴及び利点とともに以下の詳述を参照し、添付の図面とともに読まれる際に、最もよく理解することができる。本発明の特定の実施形態を添付の図面を参照して記載する。
【００１２】
簡単かつ明確にするため、図に示す要素は、必ずしも縮尺通りに描写されていないことを理解されたい。例えば、一部の要素の寸法は、明確にするために他の要素と比べて拡大することができる。さらに、適切であると考えられる場合には、同じ参照符号を使用して、同一又は類似の要素を示すことがある。
【００１３】
本発明は、圧縮により画像のサイズを削減するためのシステム及び方法である。
本発明の実施形態は、画像を複数の下位領域に分割して、既存の画像テンプレートパターンの辞書（dictionary）又はデータベースから検索された１つ又は複数の類似のテンプレートパターンによって、各画像の下位領域が表現される。例えば、画像の一部が、草木を含む森林の風景など、主に緑色の色相を含んでいる場合は、画像部分を表現するために緑色のテンプレートが使用される。任意に、画像全体を、全体（例えば平均）のテンプレートパターンによってタグ付けしてもよく、画像の個々の画素は、このテンプレートパターン（又は、任意に複数のテンプレートパターン）に関連するデータによって表現される。このような実施形態では、各画素を絶対尺度（例えば、赤、青又は緑）で表現する代わりに、各画素値は、（例えば、赤、青及び／又は緑）テンプレートパターンに対する特性（例えば、「赤度」、「青度」及び／又は「緑度」のレベル）を測定する。テンプレートパターンが原画像に近づくため、多くの画素をテンプレートパターンに一致させることができ、画像データを使用せずに画素を表現できる。そのような実施形態によれば、原画像データに比して少ないデータ量を使用して画像を表現することができることから、送信及び格納が効率的となりうる。
【００１４】
そのような実施形態は、画像全体又は画像の一部に等しく適用され、複数の画素群が、例えば色付きのテンプレートパターンなどの定数属性又は支配的な機能属性によって示される。画像は、さまざまな方法で下位領域に分割してもよい。例えば、画像内部でより小さい画素群を表現するために、画像マトリクスを線形に分割してもよく、例えば、画像の３×３の下位マトリクスのそれぞれが下位領域を表現してもよい。画像分割に関する公知のアルゴリズム、例えば、「Ｋ平均法」又は画素の領域若しくは下位領域を選択するための他のアルゴリズムを、画像内部で下位領域を識別するために任意に使用してもよいが、これに限定されない。
【００１５】
画像は、複数の下位領域に分割されて、各下位領域が画像マトリクスの下位マトリクスを形成し、これにより、画素の下位領域を表現する。例えば、各下位マトリクスが、複数の画素の正方形、長方形又は他の多角形を表現する。非限定例として、各正方形は、１０×１０画素の下位領域の値を任意に含んでもよい。
【００１６】
画像が複数の下位領域に分割されると、色又は他の画像特徴が、その下位領域に対して評価される。評価された画像特徴は、下位領域に最も支配的な特徴である。例えば、画像特徴が特定の色を有するパターンに関連する場合は、その下位領域で最も支配的な色を評価することができる。次に、支配的な色（又は他の画像特徴）は、辞書又は画像特徴データベースに格納された複数のそのような色（又は、他の画像特徴）と比較する。処理装置は、辞書の色（又は他の画像特徴）のうち各下位領域の色（又は、特徴）に最も厳密に一致するものを自動的に判定する。あるいは、複数の色を各下位領域に対して評価してもよく、その場合、上記の処理は、複数の色及び相対位置に対して実行することができる。
【００１７】
次に、各下位領域の表示と最も厳密に一致する画像特徴表示を有するテンプレートパターンを辞書から選択する。次に、下位領域内の画素のすべてを、そのテンプレートパターンの対応する画素値で置換する。テンプレートパターンは、辞書番号（例えば、符号、アドレス又は辞書内のテンプレートパターン又は機能を一意に識別する他の参照符号）によって表現される。いくつかの実施形態では、各下位領域で、複数の画素を表現又は符号化するために、ただ１つの辞書番号のみを送信、格納又はその他の方法で使用して、これにより、各画像下位領域の画素を表現するために必要となるデータ量が大幅に削減される。
【００１８】
各下位領域に対して、あらゆる形状又は画素数を任意に使用してもよいが、各下位領域のサイズが小さくなると、画像毎に使用される下位領域の数は増加する。このように下位領域の総数が増加し、各下位領域のサイズが縮小すると、画素解像度を増加させ、原画像への忠実性を増大させるが、原画像を表現するために必要となるデータ量も増加する。（例えば、画像を表現するために予め定めた最大の許容データ、及び原画像を表現するために許容可能な予め定めた最小の忠実性又は精度のうちの少なくとも一方を維持するために）画像下位領域のサイズ、形状及び密度のうちの少なくとも一方を定義するパラメータをユーザが調整してもよく、あるいは、コンピュータ処理によって自動的に調整又は設定してもよい。
【００１９】
本発明のいくつかの実施形態によれば、各テンプレートパターンは、複数の画像特徴、特性又は変数の値を含む。画像特徴又は変数は、色、色のグラデーション、グラデーションの方向又は参照画素を含んでもよいが、これに限定されない。
【００２０】
いくつかの実施形態では、画素を表現する圧縮データは、単に、辞書からの１つ又は複数の類似のテンプレートパターン又は価値関数への参照であってもよい。テンプレートパターンが原画像に正確に一致しない場合、圧縮データは「非可逆」である。別の実施形態では、「可逆」圧縮を生成するために、テンプレートパターンと原画像との差を定義するさらなる差分（又は「誤差」）値を各画素に割り当てる。これにより、原画像を、テンプレートパターンを使用し、さらに各画素単位の誤差値を追加することによって、正確に再構成（復号化）することができる。
【００２１】
画像がテンプレートパターンから再構成される、圧縮データを復号化する逆動作は、プロセッサ又はデコーダによって実行される。デコーダは、辞書若しくはデータベースから、画像を表現するテンプレートパターン、又は、（例えば、辞書コードによって識別される）最も近い機能属性の表現を検索する。デコーダは、原画像を再構成するためにテンプレート（任意に誤差データ）を使用する。非可逆圧縮が使用される場合、テンプレートパターンと原画像との差分は、圧縮によって損失したデータである。可逆圧縮が使用される場合、差分値又は誤差値は、各画素に対して記録され、例えば、テンプレートデータとともに、あるいは、テンプレートパターンとは別々にデコーダに送信され、テンプレートパターンと原画像との差分に関するデータを損失することなく、原画像を再現する。
【００２２】
非可逆圧縮によれば、テンプレートパターンと原画像が近ければ近いほど、データの損失は少なくなる。可逆圧縮が使用される場合、テンプレートパターンと原画像が近ければ近いほど、圧縮画像データと共に格納及び送信される誤差データは少なくなる（完全一致では誤差データは生じない）。したがって、辞書を、原画像にさらに適合するように、圧縮処理時に調整して、非可逆圧縮の精度を改善するか、あるいは、可逆圧縮に使用する誤差データ量を削減する。一実施形態は、テンプレートパターンを追加又は変更した複数の変更された辞書を備える。例えば、画像伝送に関して、画像が圧縮及び送信される場合に、辞書又は辞書の変更された部分のみが定期的に、少なくとも２回以上送信される。
【００２３】
例えば、９画素×９画素のマトリクスで初期画像を表現し、全体で８１画素の画像を与えることを前提とする。この画像は、例えば９つの３×３画素の下位領域つまり下位マトリクスの群に分割する。上記の画像特徴又は変数の１つ又は複数を含む関連パターンに関して、各下位領域を評価する。最も近いテンプレートパターンを、複数のそのようなテンプレートパターンと比較することにより辞書から選択する。あるいは、他のパターンに比して重要な便益を示すパターンがない場合、例えば、平均の色値を有する単色のテンプレートなどの最小のデータ量を有する既定のテンプレートパターンなどを使用してもよい。別の実施形態では、十分に近いテンプレートパターンが辞書に存在しない場合、新しいテンプレートパターンを辞書に追加することができる。新しいテンプレートパターンは、辞書内の既存パターンを置換し、他のパターンとして追加される。既存パターンを置換するにあたり、置換される既存パターンは、画像下位領域を表現するために少なくともこれまで使用されていない（あるいは、使用される頻度が最も低い）ことなどを含む１つ又は複数の基準により選択される。さらに、又は代替として、置換されるパターンは、新しいパターンに最も近いパターンか、又は、例えば広範囲のテンプレート選択肢を提供するために、辞書内の他の既存のパターンと最も異なるパターンであってもよい。
【００２４】
いくつかの実施形態では、プロセッサは、辞書内のテンプレートパターンのうち、原画像又は画像下位領域に「最も近い」ものを自動的に判定する。原画像又は画像下位領域とテンプレートパターンの「近さ」は、当技術分野において周知である任意の種類のパターン又は画像比較関数により求める。いくつかの実施形態では、いくつかの特徴の近さ（例えば別々の画素の色）に対して、他の特徴（例えば、全体の色及び強度勾配のうちの少なくとも一方又はその逆）よりも強く重み付けする。例えば、プロセッサは、さまざまな特徴の比較によって、さまざまな重み又は優先順位を付与できる場合、重み付き比較関数を使用して、各テンプレートに順位又は点数を付ける。
【００２５】
代表的なテンプレートパターンが、各画像下位領域を表現するために選択されると、その下位領域が、これらのテンプレートに対応する辞書の番号、符号又はアドレスによって表現される。任意に、圧縮データは、画像下位領域のサイズ又は寸法を含んでもよいが、画像が同じサイズの下位領域に分割される場合、このサイズの記述子を含む必要がないか、あるいは、データに対して１回のみ、又は、下位領域のサイズが変化する度に含んでもよい。さらに、圧縮データは、原画像内の各下位領域の相対位置を含んでもよいが、予め定めた、あるいは、予想された順序により画像下位領域が圧縮される場合、各特定の下位領域の位置を含む必要はない。
【００２６】
圧縮データが、画像の複数の特徴を定義する場合、各特徴をベクトルの座標として表現される。ベクトルは、色数だけでなく、例えば、開始色、色のグラデーション、色のグラデーションの方向及び画素の参照符号などの他の情報も含む。したがって、８１画素の初期画像は、９つの３×３画素の下位領域に分割され、９つの「画素ベクトル」によって定義することができ、各ベクトルが、各下位領域に対して選択された複数の特徴に関する画像値を定義する。さまざまな特徴値をベクトルに統合すると、データ全体の記憶容量及び処理装置での計算負荷を削減することができ、例えば、処理される変数の数を８１（９×９）から３６（９×４）にして約４５％に削減することができる。連続した画像を、例えば短時間で処理する場合に、データサイズをさらに削減することができる。連続した画像はそれぞれ、元の基底ベクトル変数の関数であってもよく、これにより時間が経過すると、各画像によって処理される変数の数が約４５％に削減されるため、この削減を処理される各画像に対して積算することができる。画像データサイズをさらに削減するために、各画像下位領域は（例えば、３色又は４色の代わりに）２色のみの簡単な２値パターンによって表現してもよい。
【００２７】
本発明のいくつかの実施形態によれば、上記の１つ又は複数の変数のセットを、各下位領域に対して別々に求めるよりも、処理は複数のパターンを備え、次に、各下位領域又は下位領域の群に適したパターンを選択する。辞書に備えるパターンを、予め定めること、若しくは固定すること、及び、画像圧縮時に生成すること、若しくは少なくとも調整することのうちの少なくとも一方を行う。
【００２８】
画像を圧縮するのに利用可能なテンプレートパターン数は、画像内の個々の画素数、画素の列数又は画素の任意の寸法に基づいて比例し、あるいは、これに比して相対的に多くてもよい。一実施例では、テンプレートパターン数は下位領域内の画素数の平方根に略等しくてもよい（例えば、２５６×２５６画素の下位領域に対しては、２５６の利用可能なパターンがあってもよい）。他のパターン数又はさまざまなパターン数を備える。パターン数が増加すると、辞書のサイズも通常増大するが、同様にパターン数が増加すると、パターンを使用して圧縮した画像の精度も増大させる。
【００２９】
各パターンは、色のグラデーション及び他の画像特徴のうちの少なくとも一方、参照画素、グラデーションの方向などの画像情報を含む。パターン辞書から、各下位領域に対するパターンを選択してもよい。また、各下位領域に対して基準色を選択してもよく、例えば、下位領域の画素の平均色としてもよい。パターンは、予め定義された辞書を備えるために、画像の処理前又は圧縮前に構成してもよく、例えば、少なくとも一部は経験的に求めてもよい。下位領域の画像データと十分に類似しているパターンが辞書にない場合は、一般的な「ダウンサンプリング」技法を適用して、下位領域データのサイズを削減してもよい。別の実施形態では、十分に類似のパターンが見つからない場合は、下位領域のデータは非圧縮の状態を維持してもよい。
【００３０】
代替として、又は追加として、画像下位領域に十分に一致させるために新しいパターンを生成して、パターン辞書に追加してもよい。例えば、新しいパターンは、下位領域の完全な複製又は下位領域からの修正であってもよい。処理装置は、例えばパターンのパラメータの比較により、どのパターンが「十分に類似している」のかを判定するために閾値を設定する。類似性閾値が高いほど、画像圧縮の精度が増大する。いくつかの実施形態では、視聴者が、さまざまな類似性閾値を有する圧縮から再構成された画像を、例えば目視検査によって原画像と比較して再構成された画像を選択し、その結果、許容可能な類似性閾値を選択することにより、画像圧縮の精度基準を定義したり、あるいは、高めたりすることができる。
【００３１】
ローカル処理装置は、本願明細書に記載するように、画像を細分化及び圧縮して、圧縮データを転送及び格納のうちの少なくとも一方を行うことができる。次に、ローカル処理装置は、画像を再構成して、表示する完全画像を得ることができる。
【００３２】
本発明の実施形態による画像を圧縮するシステム１００を概略的に示した図１を参照する。
システム１００は、画像を検索及び送信のうちの少なくとも一方を行うことが可能な１つ以上の装置１５０と、テンプレートパターン及び圧縮画像の辞書のうちの少なくとも一方を格納するデータベース１１０と、各画像を複数の下位領域に分解する下位領域分解モジュール１２０と、各下位領域のデータを圧縮する圧縮モジュール１３０と、圧縮された下位領域データから画像を再構成する復元モジュール１４０とを含む。
【００３３】
装置１５０は、コンピュータ装置、サーバ、ビデオ若しくは画像キャプチャ又は再生装置、携帯装置、又は、携帯電話、携帯情報端末（ＰＤＡ）、テレビゲームコンソールなどの他のデジタル装置であってもよい。装置１５０は、ビデオデータ又は画像データを記録、保存、格納、処理、編集、表示、投影、受信、転送又はその他の方法で使用、操作するための一連の命令を実行できる任意の装置を含む。装置１５０は、ユーザインタフェース上にビデオ又は画像データを表示する出力装置１５５（例えば、モニター、プロジェクタ、スクリーン、プリンタ又はディスプレイ）を含む。装置１５０は、プロセッサ１５７を含む。プロセッサ１５７は、中央演算処理装置（ＣＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、マイクロプロセッサ、コントローラ、チップ、マイクロチップ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、他の集積回路（ＩＣ）又は他の好適な多目的又は特定のプロセッサ又はコントローラを含んでもよい。
【００３４】
データベース１１０、分解モジュール１２０、圧縮モジュール１３０及び復元モジュール１４０のうちの少なくとも一つのそれぞれを装置１５０に統合してもよく（例えば、同一のスタンドアロン型コンピュータの一部とする）、あるいは、装置１５０から分離してもよい（有線又は無線のネットワークを介して接続する）ことを理解することができる。
【００３５】
下位領域分解モジュール１２０は、画像を複数の下位領域に分割して、下位領域に対して色及び任意の１つ又は複数の関連変数値などの１つ又は複数の支配的な特徴によって各下位領域を定義する。下位領域分解モジュール１２０は、多くの方法で画像を分割する。例えば、画像画素値を表現する画像マトリクスを、画像内の画素の小さい群に、例えば、それぞれが画像下位領域を表現する複数の下位マトリクスに線形に分割する。画像内で下位領域を識別するために、例えば、「Ｋ平均法」又は画素を結合する他の方法などの画像分割の公知のメカニズムを使用することができるが、これに限定されない。
【００３６】
画像下位領域が定義されると、圧縮モジュール１３０は、各下位領域の代表パターンを、例えば、データベース１１０に格納したテンプレートパターンの辞書から選択する。圧縮モジュール１３０は、下位領域を圧縮する。各テンプレートパターンには、色のグラデーション、参照画素、グラデーションの方向などの画像情報を含んでもよい。各下位領域に対して基準色を選択してもよく、例えば、下位領域の画素の平均色、中央色又はモード色であってもよい。
【００３７】
圧縮画像データは、データベース１１０に保存してもよい。装置１５０が再構成された画像を要求する場合、復元モジュール１４０は、データベース１１０から圧縮画像データを検索して、データを復元して原画像を正確に、あるいは、凡そ複製する。
【００３８】
下位領域分解モジュール１２０は、画像を分割し、圧縮モジュール１３０は、画像を圧縮し、復元モジュール１４０は、ローカル処理装置、例えばプロセッサ１５７を使用して画像を再構成する。続いてローカル処理装置は、再構成された画像を出力制御装置に送信して、出力装置１５５上に表示する。
【００３９】
本発明の実施形態による画像を圧縮するためのデータ構造を概略的に示した図２を参照する。データ構造は、原画像２００内に複数の下位領域２１０を表現する複数のテンプレートパターン２０８を有する下位領域辞書２０２を含む。テンプレートパターン２０８を、画像圧縮前に例えば経験的に予め定めて生成してもよい。代替及び追加のうちの少なくとも一方として、テンプレートパターン２０８は、現在の画像及び１つ又は複数の直前の画像のうちの少なくとも一方を使用することによって、各画像又は複数の画像に対して、例えばリアルタイムに動的に生成してもよい。圧縮モジュール（例えば図１の圧縮モジュール１３０）は、分類圧縮機能２０４を使用し、辞書２０２からテンプレートパターン２０８を選択し、原画像２００の各下位領域を圧縮する。圧縮モジュールは、分類圧縮機能２０４を使用して、原画像２００の１つ又は複数の下位領域２１０の色又は他の表現関数属性を含む画像特徴が最も厳密に一致する１つ又は複数のテンプレートパターン２０８を辞書２０２から選択する。圧縮モジュールは、選択されたテンプレートパターン２０８によって各下位領域２１０を表現して圧縮画像２０６を生成する。圧縮画像２０６は、原画像２００の下位領域２１０の各画素（又は複数の画素）を、辞書２０２内のパターン及び色値又は符号などの色の記述のうちの少なくとも一方に対するポインタによって表現する。
【００４０】
コンピュータ又はサーバ（例えば図１の装置１５０）が、各圧縮画像２０６、下位領域、画素の正方形、長方形又は他の形状の画素群の、予め定めた、若しくは、選択された所望の圧縮精度の高さ、最大データサイズ、及びこのほかの評価基準のうちの少なくとも１つを含むがこれに限定されない複数パラメータのいずれかにより定義したテンプレート選択肢の範囲及び詳細を備えるテンプレートパターン２０８を、辞書２０２内で生成する。いくつかの実施形態では、コンピュータは、例えば、圧縮されている実画像の画像パターンを使用して、辞書２０２内でテンプレートパターン２０８を動的な方法で生成する。類似画像のビデオストリーム又はシーケンスに関して、辞書２０２内のテンプレートパターン２０８は、ストリーム内の前回の画像フレームの画像特徴に従って現在の原画像２００を圧縮するように調整する。コンピュータは、動的（例えば処理中に適合させる）特性と、経験的な（例えば、予め定められる）特性に従って辞書２０２内でテンプレートパターン２０８を生成する。
【００４１】
辞書２０２が修正される場合、辞書２０２全体又は辞書２０２の修正部分のみを、辞書２０２が保存されるデータベース（例えば図１に関するデータベース１１０）から、あるいは、直接変更部分を生成するコンピュータから圧縮モジュールに周期的又は反復的に送信する。辞書２０２の変更部分を周期的に送信する場合、辞書全体２０２は、例えば、各圧縮モジュール、プロジェクト、セッション又は画像のセットに対して、１回のみ送信してもよく、これにより、送信されるデータ量を削減する。
【００４２】
全体的に、画像圧縮処理の品質（例えば、圧縮が非可逆である程度）は、圧縮情報を検索する辞書２０２によって定義される。例えば、圧縮モジュールが、辞書２０２において、各下位領域２１０に対する特定の機能属性に正確に一致するテンプレートパターン２０８を見つけた場合は、圧縮は可逆である可能性があり、一方、正確な一致が見つからない場合は、圧縮は非可逆である可能性がある。圧縮が非可逆（例えば、データ量の損失又は画像圧縮での誤差）である程度は、テンプレートパターン２０８が、原画像の下位領域２１０と厳密に一致する程度に依存してもよく、これにより、辞書２０２の利用可能なテンプレートパターン２０８の詳細及び数に依存してもよい。圧縮が非可逆又は可逆である程度は、辞書２０２のサイズと直接関係ない。辞書２０２内のテンプレートパターン２０８の数又は詳細が増加すると、辞書２０２のサイズは増加し、正確又は近い一致が見つかる可能性が高くなる。
【００４３】
本発明の実施形態による１つ又は複数の画像フレームの画像データを圧縮するための方法のフローチャートである図３を参照する。
操作３０１では、データベース（例えば、図１のデータベース１１０）は、圧縮モジュール（例えば図１の圧縮モジュール１３０）に複数のテンプレートパターンを有する初期辞書を備える。初期辞書は、例えば最初の画像又は画像下位領域を分析する前であっても受信する。例えば、１つ又は複数の経験的規則及び予め定めた特性のうちの少なくとも１つにより、コンピュータ又はサーバ（例えば図１の装置１５０）が、テンプレートパターンを生成してもよい。
【００４４】
操作３０２では、分解モジュール（例えば図１の分解モジュール１２０）は、最初の画像を受信し、さらには、画像を複数の下位領域に分割する。下位領域は、幾何学的に（例えば、最初の画像は、予め定めた寸法を有する予め定義された数の下位領域を生成するために細分化される）、あるいは、画像内容に基づいて（例えば最初の画像は、色などの画像特徴の変化が大きいと認められる境界に沿って分割される）求める。
【００４５】
操作３０３では、圧縮モジュールは、最初の画像を受信し、画像全体の画像特徴を一緒に、あるいは、各下位領域の画像特徴を別々に分析する。圧縮モジュールは、最も類似の画像特徴を有するテンプレートパターンを初期辞書から決定及び選択のうちの少なくとも一方を行うために、分類圧縮機能（例えば図２の分類圧縮機能２０４）を使用する。最も類似のテンプレートパターンが利用可能である場合、及び、最も類似のテンプレートパターンが最初の画像又は下位領域に十分近い場合のうちの少なくとも一方において、テンプレートパターンを選択して画像又は下位領域を圧縮してもよい。このほかに、コンピュータ又はサーバは、画像又は下位領域に十分に一致する新しいテンプレートパターンを生成してもよい。新しいテンプレートパターンは、追加画像として初期辞書に追加してもよく、あるいは、初期辞書内の１つ又は複数のテンプレートを置換して第２の辞書を生成してもよい。
【００４６】
操作３０４では、テンプレートパターンが選択されると、圧縮モジュールは、テンプレートパターンを使用して、例えば、辞書内の選択されたテンプレートパターンに対する識別子で、画像又は各下位領域を表現することによって、最初の画像を圧縮する。原画像の下位領域の正確な複製を生成する（すなわち「可逆」圧縮）ために、テンプレートパターンと、原画像又は原画像の下位領域の画素との違いを定義する差分値又は「誤差」値を、選択されたテンプレートパターンに対する識別子と共に送信してもよい。この差分値又は「誤差」値は、二次元マトリクスを含む多くの形式を取ってもよく、例えば、各要素の値は、二次元画素配列で表現されるように、原画像又は下位領域内の対応する画素値と選択されたテンプレートパターンとの差分を表現する。この場合、二次元の差分マトリクス及び二次元のテンプレート画素配列の合計は、原画像又は原画像の下位領域の画素配列を表現する二次元マトリクスとなりうる。
【００４７】
操作３０５では、圧縮モジュールは、差分値又は「誤差」値だけでなく、辞書内の選択されたテンプレートパターンの識別子を、その識別子が該当するのであれば、図４を参照して以下に詳細に記述するように、最初の画像フレームを復元するための復元モジュール（例えば図１の復元モジュール１４０）に送信する。
【００４８】
操作３０２〜３０５は、他の各画像フレームに対して繰り返してもよい。さらに、辞書を新しいテンプレートパターンで更新する場合は、前記処理の終了時に、全画像又はそれらの下位領域がテンプレートパターンに一致した後に、その処理中に２回以上、新しいテンプレートパターン及び更新した辞書全体のうちの少なくとも一方を送信し、例えば、処理中に発生する可能性のある１つ又は複数の辞書に対する更新を適合させてもよい。その処理中に２回以上、新しいテンプレートパターン及び更新した辞書全体のうちの少なくとも一方を送信することができる。いくつかの実施形態では、画像全体が全体として分析される場合、プロセスは操作３０２を省略してもよい。
【００４９】
本発明の実施形態による１つ又は複数の原画像フレームを復元するために画像データを復元するための方法のフローチャートである図４を参照する。この方法は、例えば、図３を参照して記載した実施形態により、圧縮されたデータを復元することができる。
【００５０】
操作４０１では、復元モジュール（例えば図１の復元モジュール１４０）は、画像フレームに対する圧縮データを検索する。画像は、（例えば、図３に関する操作３０２で記述したように）複数の下位領域に分割されていてもよい。復元モジュールは、以下の通りに、画像フレームの各下位領域に対して操作４０２及び４０３を実行する。
【００５１】
操作４０２では、復元モジュールは、該当するのであれば、圧縮データから、現在の下位領域に対する差分値又は「誤差」値だけでなく、テンプレートパターン識別子を検索する。テンプレートパターン識別子は、一意のテンプレートパターンを格納する辞書又はデータベースの位置へのアドレス、ポインタ又は符号を含む。
【００５２】
操作４０３では、復元モジュールは、識別子を使用して、辞書にアクセスし、現在の下位領域内の各画素（又は画素群）に対するテンプレートパターンの画素値を検索する。復元モジュールは、テンプレートパターン画素値を使用して、この画素値によりも下位領域を再構成する。
【００５３】
また、原画像の下位領域の正確な複製を生成する（すなわち、「可逆」圧縮）ために、復元モジュールは、上に記載するように、テンプレートパターンと、原画像又は原画像の下位領域の画素との違いを定義する差分値又は「誤差」値をも使用することができる。
【００５４】
操作４０４では、復元モジュールは、復元した下位領域をすべて順序通りに結合して、原画像の近似画像（テンプレートパターンのみを使用する）又は正確な複製（テンプレートパターン及び差分値の両方を使用する）を生成する。復元モジュールは、コンピュータ又はサーバ（例えば図１の装置１５０）に生成された画像を送信することができる。
【００５５】
操作４０５では、コンピュータ又はサーバの出力装置（例えば図１の出力装置１５５）は生成された画像を表示することができる。
ビデオストリームの複数フレームなどの多重画像がある場合、処理４０３〜４０５は各画像に対して繰り返してもよい。処理４０３〜４０５によって、多重画像フレームに対して、逐次又は並列に実行することができる。
【００５６】
本発明の実施形態は、プロセッサ又はコントローラ（例えば図１のプロセッサ１５７）によって実行される場合、本願明細書に開示する方法を実行する命令を格納するために、例えば、メモリ、ディスクドライブ又はユニバーサルシリアルバス（ＵＳＢ）フラッシュメモリなどのコンピュータ若しくはプロセッサによる読み込み可能な媒体又はコンピュータ若しくはプロセッサ記憶装置媒体などの物品を含むことができる。
【００５７】
本発明は、限定した数の実施形態に記載しているが、本発明に関して多くの変更、改変及び他の応用が可能であることが理解される。
【図１】
2012523765.tif 000003
【図２】
2012523765.tif 000004
【図３】
2012523765.tif 000005
【図４】
2012523765.tif 000006
【国際調査報告】
2012523765.tif 000007