(57)【要約】【課題】  カラードキュメントの画像を効率よく区分する。【解決手段】  前景及び背景の画素分布に関するパラメータモデルを決定するステップと、前景及び背景の画素分布からパラメータモデルのパラメータを推定するステップと、パラメータモデルのパラメータからデシジョン面を算出するステップと、を含む、三次元色空間においてデシジョン面を生成する方法。【選択図】  図４
2004173276.tif 000002
【特許請求の範囲】
【請求項１】
前景及び背景の画素分布に関するパラメータモデルを決定するステップと、
前記前景及び背景の画素分布からパラメータモデルのパラメータを推定するステップと、
前記パラメータモデルのパラメータからデシジョン面を算出するステップと、
を含む、三次元色空間においてデシジョン面を生成する方法。
【請求項２】
前記パラメータモデルは２つのガウス分布の混合である、請求項１に記載の方法。
【請求項３】
前記決定するステップが、期待値−最大値アルゴリズムを利用する、請求項２に記載の方法。
【請求項４】
前記決定するステップが、ガウス混合を推定する、請求項３に記載の方法。
【請求項５】
前記パラメータモデルのパラメータが、混合パラメータ、及び２つの対応する共分散マトリックスを有する２つの三次元平均値を含む、請求項２に記載の方法。
【請求項６】
画像データの画素サブセットをサンプリングするステップと、
前記画素サブセットから前景及び背景の画素分布に関するパラメータモデルを決定するステップと、
前記前景及び背景の画素分布からパラメータモデルのパラメータを推定するステップと、
前記パラメータモデルのパラメータからデシジョン面を算出するステップと、
画像データの全画素と前記デシジョン面とを比較するステップと、
前記比較により、所与のデータ画素がデシジョン面の上下いずれにあるかを決定するステップと、
を含む、三次元色空間で画像データ画素を区分する方法。
【請求項７】
前記パラメータモデルは２つのガウス分布の混合である、請求項６に記載の方法。
【請求項８】
ラスタ画像をメモリに読み込むステップと、
前記ラスタ画像をＬ＊ａ＊ｂ色空間に変換するステップと、
画像の均等に分布された点において画素サブセットをサンプリングするステップと、
前記画素サブセットから前景及び背景の画素分布のパラメータモデルを決定するステップと、
得られた前景及び背景の画素分布のパラメータモデルのパラメータを推定するステップと、
前記パラメータモデルのパラメータからデシジョン面を算出するステップと、
前記画像データの全画素と前記デシジョン面とを比較するステップと、
前記比較により、所与のデータ画素が前記デシジョン面の上下いずれにあるかを決定するステップと、
前記決定により、前記デシジョン面の上下いずれにあるかに応じて、所与の画像画素を前景マスク又は背景マスクに分類するステップと、
前記決定するステップにおける決定により、セレクタマスクの１ビットを各画素位置に設定するステップと、
を含む、適応カラードキュメント区分方法。
【請求項９】
前記パラメータモデルは２つのガウス分布の混合である、請求項８に記載の方法。
【請求項１０】
前記決定するステップが、期待値−最大値アルゴリズムを利用する、請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理に係り、より詳細には、デジタル表示されるドキュメントを圧縮する技術に関する。
【背景技術】
【０００２】
高解像度で走査されたドキュメントの保存には、大容量の空間が必要である。データ量を減少させ、保存や伝送に伴うコストを抑えるため、データを何らかの形態で圧縮して保存するのが一般的である。情報のオンライン化が主流となった現在でも、紙ドキュメントによる情報の量は依然多い。紙ドキュメントに関連する作業では、情報を印刷して取り出したり、古くから伝わるドキュメントや紙ドキュメントの内容を保存検索システム用に変換したりすることが必要となることがある。ドキュメント処理システムにおける走査処理は、電子、印刷、電子というサイクルで完了する。印刷されたドキュメントの電子フォーマットへの変換は、数多の研究記事や出版物で議論されてきた。その多くは２値の白黒ドキュメントを対象としたものだが、今日主流をなすのはカラードキュメントであり、しかもその解像度は加速度的に向上している。
【０００３】
タイプの異なるデータを圧縮する方法として、ＭＲＣ(Mixed Raster Content)フォーマットによる画像記述法が挙げられる。ＭＲＣでは、まず画像（カラー又はグレースケール情報が混在するテキストが含まれる合成画像）を、通常上面、下面と呼ばれる２つ以上の面に区分する。そして、最終出力画像を復元する際に使用される実際の画像データがどの画像面に含まれているかを画素レベルで特定するためのセレクタ面を生成する。このように面を区分すれば、オリジナル画像と比べて面が平滑化され、圧縮しやすいデータ配置がなされるため、より効率よい画像圧縮が可能となる。また、区分することで面ごとに異なる圧縮方法を適用できることとなり、各面上のデータに最適な圧縮技術を適用することが可能となる。
【０００４】
ドキュメント交換の観点からは、ＭＲＣ画像形成モデルは、基本ドキュメント構造の一般的表現を可能にする。一般的表現の目的は、圧縮タイプに応じてドキュメント画像を多数の領域に区分し、高度な圧縮を容易に行うことにある。例えば、テキスト画素を抽出し、ＩＴＵ−Ｔ  Ｇ４又はＪＢＩＧ２に準じて符号化する。背景及び画像を抽出し、ＪＰＥＧに準じて（様々な量子化レベルで）圧縮する。この方法では、適切な圧縮方式の観点から、ドキュメント画像を多数の領域に分割する。この他、ＭＲＣでは画像を基本的な「機能」により分解して記述すること、すなわち、テキスト、背景、写真及びグラフィックに分解して記述し、後続処理に使用することもできる。後続処理として、テキストのＯＣＲ処理や、別の媒体用に写真の色補正を行うことが挙げられる。
【０００５】
ＭＲＣの最適化においては、ドキュメントの区分が主要事項である。区分はロバストで、しかも多様なスキャナに対する適応性に優れた方式で行わなければならないし、走査対象シートの裏映りを最小限に抑える必要がある。また、単純かつ迅速で、ソフトウェアの実行に適する方式でなければならない。そして、２値画像の処理に伴うドキュメント分析上の問題を大幅に減らす方式でなければならない。
【０００６】
従来の技術として、例えば、非特許文献１乃至３がある。
【０００７】
【非特許文献１】Ｊ．Ｃ．ハンドレー(J. C. Handley)著、Ｅ．Ｒ．ドアティー(E. R. Dougherty)編、「ドキュメント認識(Document Recognition)」、電子画像形成技術(Electronic Imaging Technology)、ＳＰＩＥプレス(SPIE Press)、ベリングハム(Bellingham)、1999年
【非特許文献２】Ｒ．デ．ケイロズ(R. de Queiroz)、Ｒ．バックリー(R. Buckley)、Ｍ．シュ(M. Xu)著、「複合ドキュメント画像圧縮のためのＭＲＣモデル(Mixed raster content (MRC) model for compound document image compression)」、会報「ＳＰＩＥ視覚的コミュニケーションと画像処理(SPIE, Visual Communications and Image Processing)」第3653巻、1999年1月、p. 1106-1117
【非特許文献３】Ａ．Ｐ．デンプスター(A. P. Dempster)、Ｎ．Ｍ．レアード(N. M. Laird)、Ｄ．Ｂ．ルービン(D. B. Rubin)著、「ＥＭアルゴリズムによる不完全なデータからの最尤（と議論）(Maximum likelihood from incomplete data via the EM algorithm (with discussion)」、ロイヤルスタティスチカルソサエティーＢ(Royal Statistical Society B)ジャーナル、39、1997年、p. 1-38
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述のように、ＭＲＣ等の走査システムの操作上、区分の影響を最小限に抑えることを可能としながらも、ロバストで、多様なスキャナに対する適応性に優れ、２値画像の処理に伴うドキュメント分析上の問題を大幅に減らす方式が要望されている。よって、より効率よいカラードキュメントの画像区分法を開発し、前記その他の欠点や不都合を解消することが望ましい。
【課題を解決するための手段】
【０００９】
本発明は、前景及び背景の画素分布に関するパラメータモデルを決定し、前景及び背景の画素分布からパラメータモデルのパラメータを推定し、該パラメータモデルのパラメータからデシジョン面(decision surface)を算出することにより、三次元色空間においてデシジョン面を生成する方法に関する。
【００１０】
より詳しくは、本発明は、三次元色空間において画像データの画素を区分する方法に関する。この方法は、画像データの画素サブセットをサンプリングし、該画素サブセットから前景及び背景の画素分布に関するパラメータモデルを決定し、前景及び背景の画素分布からパラメータモデルのパラメータを推定することを含む。これにより、画像データの全画素を該デシジョン面と比較し、比較ステップにより、所与のデータ画素が該デシジョン面の上下いずれにあるかを決定するために、パラメータモデルのパラメータからデシジョン面を算出することが可能となる。
【００１１】
更に、本発明は、適応性に優れた、カラードキュメント区分方法に関する。この方法は、ラスタ画像をメモリに読み込み、該ラスタ画像をＬ＊ａ＊ｂ色空間に変換し、画像上の均等分布された点において画素サブセットをサンプリングすることを含む。これにより、該画素サブセットから前景及び背景の画素分布のパラメータモデルを決定し、得られた前景及び背景の画素分布のパラメータモデルのパラメータを推定し、該パラメータモデルのパラメータからデシジョン面を算出することが可能となる。すなわち、該画像データの全画素をデシジョン面と比較し、比較ステップにより、所与のデータ画素が該デシジョン面の上下いずれにあるかを決定し、デシジョン面の上下いずれにあるかに応じて、該所与の画像の画素を前景マスク又は背景マスクに分類することが可能となる。そして、決定ステップで行われた決定に応じて、セレクタマスクの１ビットを各画素位置に設定する。
【発明を実施するための最良の形態】
【００１２】
本発明は、合成カラードキュメント画像に含まれる種々のタイプの画像データを区分する方法に関する。本発明をＭＲＣ技術に関連させて説明するが、本発明はＭＲＣフォーマット以外の方法、装置にも適用できる。本明細書に開示される技術は、ドキュメントの保存や伝送用の多様なデバイス、例えばファクシミリ機や画像記憶デバイス等での使用に好適であり、カラー画像及びグレースケールの白黒画像のいずれの処理にも適用できる。
【００１３】
画素マップとは、ページ上の各離散位置が画素を含むマップをいう。画素は色を特定する値の光信号を発し、グレースケール画像の場合はその位置における画像の明暗を示す値の光信号を発する。殆どの画素マップは、１組の離散的な、負でない整数を値として使用していることが当業者には理解される。
【００１４】
例えば、カラードキュメントの画素マップでは、個々の区画はデジタル値として表されることが多い。デジタル値の範囲は多くの場合０から２５５であり、０は無色、２５５は最も濃い色を意味する。例えば、ＲＧＢ色空間では、（０，０，０）はレッド、グリーン、ブルーのいずれも含まれない加法混色、すなわちブラックを表し、（０，２５５，０）はレッド、ブルーが含まれず、グリーンが最大限である状態、すなわちグリーンを表し、（１２８，１２８，１２８）は中間量のレッド、グリーン、ブルーの加法混色、すなわち中間のグレーを示す。当該技術では、Ｌ＊ａ＊ｂ、Ｌ＊ｕ＊ｖ、ＹＣｂＣｒ等の多様な色空間を利用して色の表示を行っている。いずれの色空間も、特定の画像形成システム（コピー機、プリンタ、ＣＲＴ、テレビ伝送等）に対し、利点を有する。色空間の変換は当該技術では日常的所為であり、コンピュータのハードウェアやソフトウェアとして具現化された数学的オペレーションにより実施される。各区画の３つの値は、三次元空間における点の座標を表す。本発明の好適な実施形態において対象とする画素マップは、「走査された」画像の表示である。すなわち、デジタルスキャナを利用して物理的媒体から反射した光をデジタル化することで得られる画像である。用語「ビットマップ」は、画素が１又は０の２値のいずれかをとる２値画素マップを指す。
【００１５】
図面を参照しながらＭＲＣフォーマットについて敷衍する。図１に示すように、カラー又はグレースケールのドキュメントを表す画素マップ１０を、３面からなるページフォーマットに分解するのが好ましい。画素マップ１０上の画素をブロック１８（図２参照）にグループ化すると、画像処理効率が向上するため好ましい。ドキュメントフォーマットは通常、上面１２、下面１４及びセレクタ面１６で構成される。上面１２及び下面１４はオリジナル画像データを記述する画素を含む。ブロック１８内の画素の分類は、所定基準に基づいて行われる。例えば、一定の閾値を上回る値をもつ画素を１つの面に、閾値以下の値をもつ画素をもう１つの面に配置する。セレクタ面１６はオリジナル画素マップ１０の全画素をたどり、全画素を上面１２又は下面１４の正確なスポットにマッピングする。
【００１６】
上面及び下面はオリジナル画素マップ１０と同一のビット深さ(depth)及び色数で記憶されるが、解像度はやや劣ってもよい。セレクタ面１６はビットマップとして生成、記憶される。データを存在させる面として「上」「下」という用語を用いたが、これらの用語は本発明の配置、構成を制限するものではない。
【００１７】
処理後、各面に属するデータのタイプに適した方法で、３つの面の全てについて圧縮が行われる。例えば、上面１２及び下面１４をＪＰＥＧ等の不可逆な(lossy)技術で圧縮、保存し、セレクタ面１６をｇｚｉｐやＣＣＩＴＴ−Ｇ４等の可逆な(lossless)技術で圧縮、保存することが可能である。出力ドキュメントの用途に適した他のフォーマットで面を圧縮、保存してよいことは当業者には明白である。例えば、カラーファクシミリの場合、セレクタ面１６にはグループ４（ＭＭＲ）を適用することが好ましい。これは、ファクシミリデータ伝送の場合、推奨フォーマット（ＭＭＲ、ＭＲ、ＭＨ、ＪＰＥＧ、ＪＢＩＧ等）の中から圧縮フォーマットを選択する必要があるためである。
【００１８】
前述のように、本発明では、ＭＲＣ技術によってデジタル画像データを処理することが好ましい。画素マップ１０は、離散位置における区画全体で分散される光強度信号からなる走査画像を表している。既述の如く、光信号は、画素と呼ばれる各離散位置から、その区画に対応するオリジナル画像の位置から反射される光強度を示す強度レベルで、発せられる。
【００１９】
本発明の焦点は、期待値−最大値(expectation-maximization)アルゴリズムを利用して三次元のガウス混合をＬ＊ａ＊ｂ画素サンプルに適合させる区分システムである。推定濃度と確率パラメータとから、二次デシジョン境界(quadratic decision boundary)を算出し、この境界を画像の各画素に適用する。画素が前景であるときは１、背景であるときは０をセレクタ画素値に割り当てる２値セレクタ面が維持される。高輝度のコンポーネント分布(component distribution)には背景の規範(prototype)の役割が割り当てられる。この処理は本来は三次元のスレショルディング(thresholding)である。推定平均値のユークリッド距離が相互に近い場合、あるいは推定確率パラメータが０か１に近い場合、サンプルは明示的混合を示さない。すなわちサンプルは均質であるため三次元のガウス混合に適合しない。この段階では、一次元のガウス混合によってＬ＊チャネルのみを用いて区分を試行する。前述のように、推定平均値が相互に近く、あるいは推定確率パラメータが０か１に近い場合、セグメンタはドキュメント画像の区分が不可能である旨を報知する。
【００２０】
本発明の方法の理解を視覚的に助ける目的で、上述の方法を簡略化して図３Ａに示す。図３Ａはサンプルが三次元のガウス３０及び３１の混合に適合した場合の一例である。ガウス３０は背景（明るい）画素サンプルを、ガウス３１は前景（暗い）画素サンプルを示している。二次デシジョン境界を算出することで、得られる２値セレクタ面３２（カップを逆さにした形状）が維持され、ドキュメントページの残りの部分の迅速なスレショルディングが可能となる。図３Ｂはサンプル画素ガウス３０及び３１と、得られる２値セレクタ３２との関係を、図３Ａの二次元断面として視覚的により分かりやすく示したものである。
【００２１】
次に、まず形態的オープンとクローズとを行うことで関連するコンポーネントを発見すべく、セレクタを処理する。大きい連結コンポーネントをオブジェクトとして抽出し、前景／マスク対として出力する。この時点で、区分されたドキュメント画像に対し後続処理を施すことが可能となる。後続処理は、画像タイプに応じたオブジェクトの平滑化もしくは強調、２値ドキュメント画像としてのセレクタ面の更なる分析、等である。また、ＴＩＦＦ−ＦＸプロファイルのＭスタンダートやその変形に従って画像を圧縮してもよい。
【００２２】
これについては別のアプローチもある。ガウス混合（ＭｏＧ）の推定は監視されないパターン認識とみなしてもよい。
【００２３】
2004173276.tif 000003
【００２４】
2004173276.tif 000004
【００２５】
2004173276.tif 000005
【００２６】
2004173276.tif 000006
【００２７】
ドキュメント画像の区分は様々な理由で行われる。最近では圧縮を目的としたドキュメント画像の区分が行われている。この場合、適切なアルゴリズムにより、区分クラスは圧縮クラス、すなわち適切なアルゴリズムの圧縮（テキストではＩＴＵ−Ｔグループ４（ＭＭＲ）、カラー画像ではＪＰＥＧ）に適した領域となる。この方式の利点は、テキストをＪＰＥＧで圧縮しない点にある。テキストをＪＰＥＧで圧縮するとリング(ringing)及びモスキート(mosquito)ノイズが発生することが知られている。区分を行うことで、レンダリングクラス、例えば、デスクリーン(descreened)対象のハーフトーン領域、鮮鋭化対象のテキスト、強調対象の写真を識別することも可能である。
【００２８】
混合ラスタコンテンツは、圧縮を容易化するための画像形成モデルであるが、レンダリング又はレイアウト分析用に区分されたドキュメントのための「キャリア」としても利用可能である。
【００２９】
2004173276.tif 000007
【００３０】
2004173276.tif 000008
【００３１】
2004173276.tif 000009
【００３２】
図４は、上述の区分法を混合ラスタコンテンツ（ＭＲＣ）の実施形態に適用するためのフローチャートである。スタートブロック４００に示すように、まずドキュメントページを走査する。ラスタ画像を読み込み、Ｌ＊ａ＊ｂ画像に変換する。ブロック４１０で、既述の如く、適応性に優れた画像セグメンタが採用される。セグメンタの方法論を要約すると、画像全体から均質な画素サンプルを得る；サンプル数は一定でなくともよいが、好適な一実施形態では２０００である；期待値−最大値アルゴリズムをサンプル画素データに適用し、パラメータモデルの（混合パラメータ、２つの三次元平均値及び対応する共分散マトリックスを含む）パラメータ推定値を求める；パラメータモデルのパラメータから二次デシジョン面を算出する；この二次デシジョン面を２値セレクタ面として使用し、各ドキュメント画像のデータ画素をデシジョン面と比較し、各画素を背景又は前景として指定する；比較の結果、判断ブロック４２０で前景と背景が実際に識別されると、比較結果から画素毎の指定を行い、２値マスク面ブロック４７０を生成する。判断ブロック４２０で前景と背景が識別されない場合、エンドブロック４６０に示すように、方法は終了する。
【００３３】
ブロック４８０で２値マスク面をランレングスに変換し、形態的オープン及びクローズオペレーションによりクリーンにする。所定閾値より大きい領域を併合する。大きい連結コンポーネントをウィンドウとして保存し、予備的前景４５０の一部をマスクアウトする際に使用する。保存された大きい連結コンポーネントを予備的前景及びマスク面から減ずる。背景面４３０、マスク面４４０及び予備的前景面４５０が最初に得られる。既述のように、保存された大きい連結コンポーネントについて、任意の「ｎ」個の前景／マスク対４９０、５００を得るため、判断ブロック４２０で決定されるように識別される対がなくなるまで、ブロック４１０からブロック４８０までを反復処理する。次いで、エンドブロック４６０に示すように方法は終了する。
【００３４】
背景マスクの全画素を平均値で置きかえることが望ましく、又は好都合であることもある。背景マスクの全画素を平均値で置きかえれば、両面印刷されたオリジナルを走査する際に、裏面の画像が前面から見える場合等に起こりやすい、裏映りの欠点を抑えられる。
【００３５】
ＭＲＣ等の走査システムの操作上、区分の影響を最小限に抑える方法を提供することで、ロバストで、多様なスキャナに対する適応性に優れ、２値画像の処理に伴うドキュメント分析上の問題を少なくする方式が提供できる。上述の方法は、圧縮、ヒント生成(hints generation)、オブジェクト分類等の他の処理ステップと組み合わせてもよい。
【図面の簡単な説明】
【００３６】
【図１】合成画像と、このような合成画像を３つのＭＲＣ画像面、すなわち、上面、下面及びセレクタ面に分解する方法の一例と、を示す図である。
【図２】画素マップと、画素をブロックに分類する方法と、を示す詳細図である。
【図３Ａ】Ｌ＊ａ＊ｂ色空間における２つの三次元分布及びデシジョン面を示す図である。
【図３Ｂ】図３Ａの分布とデシジョン面との二次元断面を示す図である。
【図４】反復的なドキュメント画像区分を示すフローチャートである。
【図１】
2004173276.tif 000010
【図２】
2004173276.tif 000011
【図３Ａ】
2004173276.tif 000012
【図３Ｂ】
2004173276.tif 000013
【図４】
2004173276.tif 000014