(57)【特許請求の範囲】
【請求項１】
画像圧縮方法であって、
（ａ）画像をデジタル化するステップと、
（ｂ）前記デジタル化画像から画素のブロックをサンプリングするステップと、
（ｃ）前記画素ブロックを第１のセグメンテーションアルゴリズムによって複数の層にセグメント化して、第１のセグメント化されたサンプルを生成するステップと、
（ｄ）前記画素ブロックを、前記第１のセグメンテーションアルゴリズムとは異なる第２のセグメンテーションアルゴリズムによって複数の層にセグメント化して、第２のセグメント化されたサンプルを生成するステップと、
（ｅ）前記第１のセグメント化されたサンプルと前記第２のセグメント化されたサンプルとを圧縮して第１の圧縮画像サンプルと第２の圧縮画像サンプルを生成するステップと、
（ｆ）前記第１の圧縮画像サンプルと前記第２の圧縮画像サンプルの各々についてビットレートを決定するステップと、
（ｇ）前記各圧縮によってどれ程大きい画像ひずみがもたらされたかを決定するステップと、
（ｈ）前記ステップ（ｃ）のセグメント化又は前記ステップ（ｄ）のセグメント化を、前記ステップ（ｆ）及び（ｇ）において決定したビットレート及び画像ひずみとの間にどちらが最適の折衷を生じさせたかによって選択するステップと
を含むことを特徴とする方法。
【請求項２】
入力画像を圧縮するための画像圧縮システムであって、
第１の処理バンクを備え、
該第１の処理バンクは複数の第１のプロセッサを含み、
前記第１のプロセッサの各々は、別々にコーディングを遂行して前記画像をセグメント化して圧縮する個別のコーダを有し、
前記第１のプロセッサの各々は、ビットレートとそれらの関連コーディングによって得られた画像歪み測度とを出力しており、
更に、最適化エンジンを備え、
該最適化エンジンは、前記複数の第１のプロセッサの各々から前記レートと前記歪み測度との対を受取り、該最適化エンジンは、前記複数の第１のプロセッサの中から、前記レートと前記歪み測度との間における最適の折衷を有する第１のプロセッサを選択する、
ことを特徴とする画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理の分野に関する。本発明は、特に、ファイル圧縮のためのデジタル画像処理に関連する応用を有しており、以下に本発明をこの応用に基づいて説明する。しかしながら、本発明は他の類似応用にも適用可能であることを理解されたい。
【０００２】
【従来の技術】
近代的なオフィス環境においては、多くの文書をデジタル的に走査し、電子的に作成し、格納し、伝送し、印刷し、そして／または表示することが一般的である。典型的には、これらの動作を迅速に遂行することが好ましい。それにも拘わらず、品質に対するユーザの期待度が高いことが多い。カラー文書の単一ページを６００スポット／インチ（ｓｐｉ）で走査すると、ほぼ１００メガバイトのサイズになり得ることを考えれば、高速・高品質画像通路をデジタル的に実現することは特に素晴らしいことである。従って、カラーまたは他のサイザブルな文書を処理するための実際的なシステムは、低い歪みと高い圧縮比を達成する文書圧縮方法を必要とする。
【０００３】
“文書（ドキュメント）”画像は、それらがテキスト、グラフィックス、連続トーンピクチャ、ハーフトーンピクチャ、及び背景のような明瞭な特色を有する十分に限定された領域を含む傾向があるので、一般的に“自然”画像とは異なっている。例えば、典型的には、テキストは、読み易さを得るために高い空間分解能を有することが望ましく、一方高いカラー分解能は必要としないことが多い。一方、連続トーンピクチャのためには高いカラー分解能が望ましいが、空間分解能は比較的低くてよい。従って、異なる目的に合致させるために、及び異なる画像クラスまたは型の中から異なる型の冗長性を利用するためには、文書圧縮アルゴリズムは適応性であることが望ましい。それにも拘わらず、ＪＰＥＧのような従来の圧縮アルゴリズムは入力画像が空間的に均一であるとの想定に基づいており、従って文書画像に対しては十分な動作を遂行しない傾向がある。
【０００４】
画像が、文書または画像圧縮のために表されるような広く使用されているフォーマットは、混合ラスタ内容（ＭＲＣ）のための公知の３層モデルをベースとする前景／マスク／背景表現である。一般的に云えば、前景層はテキスト及び線グラフィックスを含み、背景層はピクチャ及び背景を含む。マスクは、デジタル化された画像内の各画素毎に、前景画素情報を使用すべきか、または背景画素情報を使用すべきかを決定する２値画像である。３層ＭＲＣモデルを適用するには、先ず文書画像を前景層及び背景層にセグメント化し、適切なマスクを生成する。
【０００５】
文書または画像圧縮システムまたはアルゴリズムのその後の動作は、このセグメンテーションに直接関係付けられる。文書又は画像圧縮に関して言えば、圧縮された画像のビットレート（即ち、圧縮されていない画像内の画素当たりの、圧縮された画像を表すために使用されるビットの数）を引き下げるだけではなく、再構成された画像内の歪みをも低下させるようなセグメンテーションが有利である。一方、セグメンテーションの際の分類の誤りによって、有害なアーチファクトがもたらされることが多い。しかしながら、一般的には、レートを改善すると歪みが増え、歪みを改善するとレートが増加する。これは、レートと歪みとの折衷（コンプロマイズ）として知られている。最適のレート・歪み折衷は、個人の好みの問題であるか、または特定の応用によって課せられる特定の制約の関数であることが多い。
【０００６】
何れの場合も、現在までに開発されているセグメンテーションアルゴリズムまたはシステムは、典型的には入力画像または画素データだけを使用してセグメンテーションを計算または決定する、いわゆる直接セグメンテーション方法を使用している。これらの方法は、その後に適用される圧縮技術の特性を考慮せず、またユーザが望むようなレート・歪み折衷でもない。換言すれば、セグメンテーションは、達成された圧縮の究極の成果によって調整されていない。そうではなく入力画像または画素データは、データ自体から分類を決定する所定のセットのガイドラインに基づいて、セグメンテーションだけのために分類される。例えば、もし所定のガイドラインに基いてある文書のある領域がテキストを含むと決定されれば、３層ＭＲＣモデルのための前景及び背景層へのセグメンテーション及びマスク層の生成は、そのセグメンテーションがその後の圧縮に及ぼす最終的な効果には無関係に、相応に遂行されるようになっている。
【０００７】
本発明の一面によれば、画像圧縮方法が提供される。本方法は、画像をデジタル化するステップと、その画像を複数の異なるクラスにセグメント化し、レート及び歪み測度から得られた結果的なセグメンテーションに従ってデジタル化された画像を生成するステップとを含む。本方法は、圧縮された各画像毎にビットレートを決定するステップと、各圧縮によってどれ程大きい画像歪みがもたらされるかを決定するステップとを更に含む。最後に、レートと歪みとの間の最適折衷を生じさせるセグメンテーション手法が選択される。
【０００８】
本発明の別の面によれば、入力画像を圧縮するための画像圧縮システムは第１の処理バンクを含んでいる。第１の処理バンクは第１のプロセッサのアレイを含み、各第１のプロセッサは、コーディングを別々に遂行して画像をセグメント化し、圧縮する別個のコーダを各々が有している。各第１のプロセッサは、あるビットレートまたは推定されたビットレート、及びそれぞれの関連コーディングによってもたらされた歪み測度を出力する。システムは、第１のプロセッサからレート及び歪み測度の各対を受信する最適化エンジンを更に含んでいる。最適化エンジンは、レートと歪み測度との間の最適化折衷を有する第１のプロセッサを選択する。
【０００９】
本発明の１つの長所はより頑健なセグメンテーションを発生することである。
【００１０】
本発明の別の長所は、画像の各ブロック毎に全ての可能なセグメンテーション選択を試験し、対応する歪みを測定することにより、重大なアーチファクトをもたらし得る分類の誤りを実質的に排除することである。
【００１１】
本発明の更に別の長所は、ユーザが、ビットレートと歪みとの間のトレードオフを制御できるようにすることである。
【００１２】
【実施の形態】
図１を参照する。文書または画像処理システムＡは、入力文書または画像、オプションとしてフルカラー文書または画像を読取る、またはそれ以外に受信する入力端末１０を使用している。入力端末１０は、オプションとして、電子的にまたはそれ以外に格納されている画像読取り装置１２、コンピュータ画像または文書発生器１４、入力文書または画像を画素またはデジタル画像データとして読込む、または生成するスキャナ１６等を含んでいる。好ましくは、デジタル化された入力文書または画像は、コンピュータネットワークまたは文書管理／処理ネットワーク上にファイルとして存在する。
【００１３】
画像は、セグメンテーション及び圧縮を遂行する画像処理ユニット１００によってサンプルされる。圧縮が完了した後に、圧縮された画像または文書が画像処理ユニット１００から出力される。圧縮された画像は、オプションとしてメモリ２０内に、またはそれ以外の適切な記憶デバイス内に電子的に格納される。代替として、圧縮された画像または文書は、ディスクまたはテープ上に光学的にまたは磁気的に格納される。いずれの場合も、圧縮された画像または文書は、通常の手法でネットワークを通して容易にアクセス及び／または輸送される。勿論、プリンタ、ディスプレイモニタ、ゼログラフィックまたはデジタル複写機、ファックスマシン等のような適切なレンダリングエンジンによって描かれる前に、圧縮された画像は先ず圧縮解除されるか、それ以外に通常の手法で再構成される。
【００１４】
図２に本発明の面による画像処理ユニット１００の例を示す。入力画像１０２から、サンプル１０４が採取される。図示のように、サンプル１０４は、８×８ブロックの画素である。代替として、特定応用のための他のサンプルサイズが要望に応じて使用される。サンプル１０４は、コーダ・デコーダ対（ＣＯＤＥＣ）のアレイまたはバンク１１０内の複数の各ＣＯＤＥＣ、即ちＣＯＤＥＣ １乃至ＣＯＤＥＣ Ｎによって処理される。
【００１５】
ＣＯＤＥＣ １乃至ＣＯＤＥＣ Ｎ内の各コーダは、サンプル１０４を別々にコーディング（即ち、異なる層及び圧縮にパーティションブロック）する。好ましい実施の形態では、セグメンテーションは３層ＭＲＣモデルを使用して遂行される。つまり、バンク１１０内のコーダによって遂行されるセグメンテーションは、サンプル１０４が表現可能なブロックの異なる分類または型のために使用できる全ての可能なセグメンテーションを表している。このようにして、各可能なセグメンテーションは、その分類には無関係に（そのようにしなければ、サンプル１０４が分類される）各サンプルに対して遂行される。
【００１６】
即ち、例えば、３層ＭＲＣモデルには、サンプル１０４が分類される複数の分離した分類が存在し得る。サンプル１０４は、第１の型のブロック（即ち、主としてテキスト及び／または線グラフィックスであることができる）、第２の型のブロック（即ち、主としてピクチャ及び／または背景であることができる）、または第３の型のブロック（即ち、第１及び第２の型のブロックの組合せ）を表すことができる。通常、サンプル１０４は、もしそれが第１の型のブロックであれば第１の手法でセグメント化され、もしそれが第２の型のブロックであれば第２の手法でセグメント化され、更にもしそれが第３の型のブロックであれば第３の手法でセグメント化され、第１、第２、及び第３の各セグメンテーションは相互に異なる。
【００１７】
３層ＭＲＣモデルでは、第１の型のブロックは、しきい値を使用して画素毎に分類することができる。これらの画素を２つのセットの一方に置き、各セットから抽出されたカラーをそれぞれのセットの全ての画素のために使用する。オプションとして、より高い輝度を有するものは背景カラーであり、他は前景カラーである。次いで、どの画素が関連する背景及び前景層に属しているかを指示するマスク層が生成される。
【００１８】
反対に、第２の型のブロックは、全ブロックを背景層に置き、前景層を均一ブロックであるようにセットし（例えば、ある平均カラーを用いてラスター順で先行する前景ブロックと同一にする）、０を有するマスク層をロードしてこのブロックの画素が背景層に属することを指示することによって分類できる。
【００１９】
第３の型のブロックに関して言えば、全ブロックを前景層に置き、背景層を均一ブロックであるようにセットし（例えば、ある平均カラーを用い、ラスター順で先行する背景ブロックと同一にする）、１を有するマスク層をロードしてこのブロックの画素が前景層に属することを指示することによって分類することができる。
【００２０】
このようにして、前景層はテキスト及び線グラフィックスのカラーを含むようにされ、後景層はピクチャ及び背景のカラーを含むようにされる。従って、両層は重要な冗長度を有し、攻撃的に圧縮することができる。マスク層は、テキスト及び他の精細な画像構造の輪郭を含むようにされるが、それは２つのカラーだけを有し、トークンをベースとする圧縮アルゴリズムのような２値画像圧縮アルゴリズムを使用して効果的に圧縮することができる。オプションとして、当分野においては公知の他の画像セグメンテーションプロトコル及び／またはアルゴリズムを使用することができる。
【００２１】
何れの場合も、本発明では、サンプル１０４の分類またはブロックの型には無関係に、バンク１１０のコーダが全てのセグメンテーションに適用される。例えばコーダ １は、オプションとして第１の型のブロックに対応するコーディングを遂行し、コーダ ２は、第２の型のブロックに対応するセグメンテーションを遂行する等々である。しかしながら、ブロックの型には無関係にサンプル１０４は論証可能に表すことができ、各サンプル１０４はバンク１１０内の各コーダによって処理される。
【００２２】
好ましい実施の形態では、各ＣＯＤＥＣ内のコーダは、セグメント化された画像サンプルの圧縮をも遂行する。好ましくは、コーダは、例えばＪＰＥＧ、ＪＢＩＧ２等のような公知の何れかの圧縮技術またはアルゴリズムを使用する。代替として、セグメント化された画像サンプルの異なる層に対して、異なる圧縮アルゴリズム及び／または技術が使用される。好ましい実施の形態では、３層ＭＲＣモデルの前景及び背景層はＪＰＥＧを使用して圧縮され、一方マスク層はＪＢＩＧ２を使用して圧縮される。
【００２３】
各ＣＯＤＥＣのデコーダ部分は、それらの対応コーダからの画像を圧縮解除及び／又は再構成する。各ＣＯＤＥＣから、直接的に測度によって、または適切に計算された推定によって、圧縮された画像のビットレート（Ｒ）及び再構成された画像の歪み（Ｄ）が求められる。オプションとして、圧縮された画像内のビットを直接計数または測定することにより、又は圧縮されていない画像内の画素を測定することにより、ビットレートが決定される。好ましい実施の形態では、歪み測度はクラス依存性である。即ち、歪みを測定する手法は、歪みを測定しているブロックの型または分類に依存して変化する。これは、出力画像の異なる領域又はブロックの型が異なる型の歪みを許容するのであれば有利である。例えば、高周波帯域内のエラーは、若干の型の前景及び背景ブロックにおいては実質的に無視することができるが、例えば、テキストのような他の領域においては重大なアーチファクトをもたらし得る。何れの場合も、各ＣＯＤＥＣ出力その他は、それらの対応するＲ及びＤ値のセット、即ちＣＯＤＥＣ １からのＲ1及びＤ1、ＣＯＤＥＣ ２からのＲ2及びＤ2、…、ＣＯＤＥＣ ＮからのＲN及びＤNへのアクセスを可能にする。
【００２４】
ＣＯＤＥＣのバンク１１０からのＲ、Ｄセットは、レート・歪み最適化エンジン（ＲＤＯＥ）１２０へ伝送され、該エンジンによってアクセスまたはそれ以外に受信される。ＲＤＯＥ１２０は費用関数（ＣＦ）を使用して、どのＣＯＤＥＣ（及び、従ってどのセグメンテーション）が最良レート・歪み折衷を達成したかを計算、またはそれ以外によって決定する。好ましい実施の形態では、費用関数は、ビットレート及び歪みの重み付き和であり、数学的には次のように表すことができる。
ＣＦ＝Ｒ＋λＤ          （１）
ここに、λは、ＲとＤとの間のトレードオフを制御する重み係数を表す負ではない実数または係数である。勿論、重み係数λは、Ｄの係数ではなくＲの係数であることもできる。それにも拘わらず、式（１）に示すように、比較的高い値のλをレートにではなく、折衷の歪みに適用して歪みに比較的高い重要度を与えている。代替として、比較的低い値のλを、歪みにではなく、折衷のレートに適用してレートに比較的高い重要度を与える。λが０に等しい場合には、レート測度によっては最低の品質しか得られない。
【００２５】
ＲＤＯＥ１２０は、各ＣＯＤＥＣまたはＲ、Ｄセット１乃至Ｎ毎の費用関数を評価する。最小と評価された費用関数に対応するＣＯＤＥＣまたはＲ、Ｄセットが、最適のレート・歪み折衷を与えるそれに対応する。
【００２６】
オプションとして、図２に示すように、λは、メモリ１２２または別の同じような記憶デバイスから入手される。メモリ１２２は、オプションとして、λのための１またはそれ以上の省略時値を格納している。代替として、λは、ディスクまたはテープ上に光学的にまたは時期的に格納されている。好ましい実施の形態では、λはユーザによって限定されるか、または調整され、レートと歪みとの間に所望の相対的重み付けを達成する。そのために、所望のλ値をＲＤＯＥ１２０またはメモリ１２２の何れかへ直接入力することができるように、適切な入力デバイス（例えば、キーボード、マウス、及び／または類似のもの）が設けられている。
【００２７】
ＲＤＯＥ１２０は、バンク１１０から識別されたＣＯＤＥＣを選択し、それをコーダ １乃至コーダ Ｎを含むバンク１３０内の対応するコーダに接続する。例えば、図示のようにＣＯＤＥＣ ２が最適レート・歪み折衷を有しているとして識別されれば、それはコーダバンク１３０内のそれに対応するコーダ ２に接続される。このようにして、元のデジタル化された画像は、最適レート・歪み折衷を有していると識別されたＣＯＤＥＣから、バンク１３０内の対応するコーダへ出力、またはそれ以外に伝送され、再コーディングされる。好ましくは、バンク１３０内のコーダは、対応するＣＯＤＥＣ内のそれらのカウンタパーツと同一である。従って、コーダのバンク１３０からの出力は、識別された最適レート・歪み折衷を有する圧縮された文書または画像１４０である。
【００２８】
図３は、本発明の面による画像処理ユニット１００の別の例である。この実施の形態は、図２に示す画像処理ユニットと類似しているが、最も重要な差は、バンク１１０ａが、ＣＯＤＥＣのバンク１１０ではなく、コーダのアレイからなることである。従って、デコーダが欠如しているために、バンク１１０ａからの出力画像は圧縮解除及び／または再構成されない。従って、ＲＤＯＥ１２０は、バンク１１０ａ内の最適レート・歪み折衷を有すると識別されたコーダを選択し、そのコーダに再コーディングバンク１３０を使用せずに直接圧縮された画像１４０を出力させることができる。しかしながら、図３に示す実施の形態では、圧縮された画像からレート及び歪みの両方を測定または推定しなければならず、再構成の恩恵は受けられない。
【００２９】
何れの場合にも、最適化されたレート・歪み折衷を用いて有利な圧縮が達成される。換言すれば、結果として得られる圧縮された画像及び／または再構成された画像からのフィードバックを介して、最良の可能なレート・歪み折衷が達成されるように入力画像のセグメンテーションが選択及び／または調整される。従来開発されてきた技術とは異なり、適用されるセグメンテーションは、入力画像の分類またはブロック型には無関係に選択される。即ち、セグメンテーション選択は、達成された結果に基づいて行われる。更に、オプションとして、重み係数をユーザが限定する、または選択することによって、レート・歪み折衷を特定の応用に対して望ましいようにカストマイズすることができる。
【図面の簡単な説明】
【図１】本発明の面に従って使用するための画像処理システムのブロック図である。
【図２】本発明の面による画像処理ユニットの第１の実施の形態のブロック図である。
【図３】本発明の面による画像処理ユニットの別の実施の形態のブロック図である。
【符号の説明】
Ａ  画像処理システム
１０  入力端末
１２  画像読取り装置
１４  画像または文書発生器
１６  スキャナ
２０  メモリ
１００  画像処理ユニット
１０２  入力画像
１０４  サンプル
１１０  ＣＯＤＥＣのバンク
１１０ａ  コーダのバンク
１２０  レート・歪み最適化エンジン（ＲＤＯＥ）
１２２  メモリ
１３０  コーダのバンク
１４０  圧縮された文書または画像
【図１】
0003980332.tif 000002
【図２】
0003980332.tif 000003
【図３】
0003980332.tif 000004