(57)【特許請求の範囲】
【請求項１】
デジタル画像として入力された文書画像の背景色を特定するための装置が実行する方法であって、
前記文書画像における色をクラスタリングするクラスタリングステップと、
前記クラスタリングステップにより得られた複数のクラスタの中で最も多くの画素数を有する第１のクラスタの色と、前記複数のクラスタの中で画素数が２番目に多いクラスタである第２のクラスタの色を決定する決定ステップと、
前記第１のクラスタと前記第２のクラスタの画素数の差が所定の値より小さく、前記第２のクラスタの色が前記文書画像全体に亘り分布している場合に、当該第２のクラスタの色を前記文書画像の背景色とする背景色特定ステップと
を有することを特徴とする方法。
【請求項２】
デジタル画像として入力された文書画像の背景色を特定するための装置であって、
前記文書画像における色をクラスタリングするクラスタリング手段と、
前記クラスタリング手段により得られた複数のクラスタの中で最も多くの画素数を有する第１のクラスタの色と、前記複数のクラスタの中で画素数が２番目に多いクラスタである第２のクラスタの色を決定する決定手段と、
前記第１のクラスタと前記第２のクラスタの画素数の差が所定の値より小さく、前記第２のクラスタの色が前記文書画像全体に亘り分布している場合に、当該第２のクラスタの色を前記文書画像の背景色とする背景色特定手段と
を有することを特徴とする装置。
【請求項３】
コンピュータにデジタル画像として入力された文書画像の背景色を特定する処理を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記文書画像における色をクラスタリングするクラスタリング手順と、
前記クラスタリング手順により得られた複数のクラスタの中で最も多くの画素数を有する第１のクラスタの色と、前記複数のクラスタの中で画素数が２番目に多いクラスタである第２のクラスタの色を決定する決定手順と、
前記第１のクラスタと前記第２のクラスタの画素数の差が所定の値より小さく、前記第２のクラスタの色が前記文書画像全体に亘り分布している場合に、当該第２のクラスタの色を前記文書画像の背景色とする背景色特定手順と
をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書画像認識方法に関し、特に、カラー文書画像の背景色を特定するための文書画像認識方法に関する。
【０００２】
【従来の技術】
文書画像認識の結果として最終的に必要なものは、文字（コンテンツ）、表や罫線、図、写真、及び読み順を正しく認識するためのレイアウト構成であるので、通常カラー文書画像の背景色を厳密に再現する必要はない。それゆえ、カラー文書画像の背景色を精度よく特定することは従来あまり考慮されてはいなかった。
【０００３】
しかし、文書の背景色を除去することで、必要な文書要素の抽出が可能になる場合があり、また、背景色は画像特徴を利用した文書検索のための重要な特徴の1つとなり得る。従って、カラー文書画像の背景色を特定する技術は重要である。
【０００４】
カラー文書画像の背景色を特定する従来の技術として、特開平０６−３４８７５８「文書情報検索装置及び方法」に、文書の外観を表す情報を検索キーとして所望の文書を検索できる文書情報検装置装が開示されており、そこでは文書の背景色が検索キーの一つとして検出・保持されている。
【０００５】
【発明が解決しようとする課題】
上記の従来技術では、文書の背景色は単純に文書中に最も多く現れた色として定義している。従って、単純で高速な処理が可能だが、文書に大きな図・写真が存在する場合に誤った色を背景色としてしてしまう可能性があった。
【０００６】
このように、文書に大きな図・写真が存在する場合、色クラスタリングした結果、背景色クラスタサイズよりも別の色のクラスタサイズが大きくなって、それを背景色としてしまうという問題点があった。
【０００７】
本発明は、上記の点に鑑みてなされたものであり、文書内に大きな図・写真が存在する場合でも正確に背景色を特定する方法及び装置を提供することを目的とする。
【０００８】
また、カラー文書画像の背景色特定は、文書画像認識の結果を得るための前処理であることを踏まえて、単純で、かつ高速に処理を行うことができる背景色特定のための方法及び装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の課題を解決するために、本発明は次のように構成される。
【００１０】
請求項１に記載の発明は、デジタル画像として入力された文書画像の背景色を特定するための装置が実行する方法であって、前記文書画像における色をクラスタリングするクラスタリングステップと、前記クラスタリングステップにより得られた複数のクラスタの中で最も多くの画素数を有する第１のクラスタの色と、前記複数のクラスタの中で画素数が２番目に多いクラスタである第２のクラスタの色を決定する決定ステップと、前記第１のクラスタと前記第２のクラスタの画素数の差が所定の値より小さく、前記第２のクラスタの色が前記文書画像全体に亘り分布している場合に、当該第２のクラスタの色を前記文書画像の背景色とする背景色特定ステップとを有する。
【００１１】
背景色は文書全体に分布しているという観点から、第２の色が文書中の広範囲に分布している場合にそれを背景色とするので、本発明によれば、文書中に大きな図や写真がある場合でも背景色を精度良く求めることができる。上記の条件を満たさない場合は、最大クラスタを背景色とすればよく、背景色を高速に求めることができる。
【００１４】
請求項２に記載の発明は、上記の方法の実施に適した装置であり、上記の作用効果と同様の作用効果を有する。
【００１５】
請求項３に記載の発明は、コンピュータ上で上記の方法を実施することに適したプログラムを記録した記録媒体であり、上記の作用効果と同様の作用効果を有する。
【００１６】
【発明の実施の形態】
以下、図を参照して本発明における実施例を説明する。図１は本発明の実施例における文書画像認識装置の構成図である。同図に示すように、本発明の文書画像認識装置は、ＣＰＵ（中央処理装置）１００、メモリ１０１、スキャナ１０２、通信装置１０３、表示装置１０４、ハードディスク１０５、キーボード１０６、ＣＤ−ＲＯＭドライブ１０７を有する。ハードディスク１０５は文書画像認識装置の外部装置として接続してもよいし、内部装置として有していてもよい。ＣＰＵ１００は文書画像認識装置の全体を制御する。メモリ１０１はＣＰＵ１００で処理するデータやプログラムを保持する。通信装置１０３は文書画像認識装置をＬＡＮ等のネットワークに接続するための制御を行う。キーボード１０６はデータを入力する装置である。ＣＤ−ＲＯＭドライブ１０７はＣＤ−ＲＯＭ等を駆動し、読み書きを行う。スキャナ１０２は文書画像認識装置の外部装置として接続され、文書をカラーデジタル画像として入力する機能を有する。ＣＤ−ＲＯＭドライブ１０７の他、ＭＯドライブ、ＦＤドライブ、ＤＶＤドライブ等でもよい。
【００１７】
本発明の実施例において後述する処理を実行するプログラムは、例えばＣＤ−ＲＯＭに格納され、ＣＤ−ＲＯＭドライブ１０７を介してハードディスク１０５にロードされる。プログラムが起動されると、所定のプログラムがメモリ１０１に展開され、処理が実行される。動作の概要は次の通りである。
【００１８】
まず、スキャナ１０２を介して紙文書の内容がカラーデジタル画像として入力され、メモリ１０１又はハードディスク１０５に格納される。次に、以下で詳述する背景色の特定を含む領域識別処理がＣＰＵ１００により行われ、領域識別結果に対して、例えばＯＣＲ処理が行われる。
【００１９】
次に、背景色を特定する処理について、図２のフローチャートを参照して詳細に説明する。
【００２０】
ステップＳ１において、紙文書をスキャナ１０２で、あるいはネットワークを介してカラーデジタル画像として文書画像認識装置に入力する。本実施例では色数を２４ｂｉｔフルカラーと仮定するが、他の色数や解像度でもよい。本発明では、基本的に画像の色数や解像度には依存しない。ステップＳ２において平滑化を行い、ステップＳ３にて画像圧縮を行う。平滑化と画像圧縮の処理の順序は逆でもよい。
【００２１】
平滑化と画像圧縮は、文書中の大まかな色分布を調べるための色クラスタリング（ステップＳ４）の前処理として行う処理である。カラー画像の一部は異なる色の網点で構成されており、これら網点構成はプリンターやカラーコピーなどの機種によってそれぞれ異なるものである。このようなカラー出力系の特性を均一にするために、画像全体に対して平滑化を施す。従って、必要がなければ平滑化を行わなくてもよい。また、一般に平滑化は時間がかかる処理なので、速度が問題になる場合にも行わなくてよい。画像圧縮は、画像へのアクセスコストを削減するために行う処理であり、画像圧縮のための圧縮率は、運用時に動的に変更することが可能である。平滑化と同様、画像圧縮を行わなくてもよい。
【００２２】
次に、ステップＳ４として、適当な色座標系（例えばＲＧＢ）のもとで色量子化を行い、大まかな色分布を調べるために、画像全体に対して色クラスタリングを行う。この色クラスタリングは、最終クラスタ数を２〜１０程度に設定し、画像処理分野での一般的な手法によって行う。
【００２３】
ステップＳ５において、最大クラスタ（Ａとする）及び、第２位のクラスタ（Ｂとする）の代表色をそれぞれ決定する。クラスタの代表色の決定の方法には次の２種類がある。
【００２４】
（１）ＲＧＢ各プレーンの平均値を求めて代表色とする。
【００２５】
（２）輝度のヒストグラムをとって、その中央値（メディアン）に相当する色を代表色とする。
【００２６】
一般に、（１）の平均値を求める方法は速度の点で有利であり、（２）の中央値を求める方法は、精度の点で有利である。
【００２７】
次に、背景色を特定する（ステップＳ６〜Ｓ１０）。一般に、背景画素数は他の色画素数よりも十分に大きいので、属する画素数が最も多いクラスタの代表色を、当該文書の背景色とする。
【００２８】
しかしながら、図３に示すように、背景より大きな図・写真が文書存在する場合には、背景色に相当する色クラスタに属する画素数よりも、別の色クラスタに属する画素数の方が大きくなることがある。このような場合にも精度良く対応するために、本発明では、最大クラスタＣ１のサイズをＳ１、第2位のクラスタＣ２のサイズをＳ２とおくとき、Ｓ１とＳ２の差があるしきい値よりも小さい場合に、Ｃ１とＣ２が特定の条件を満たせば、第2位のクラスタＣ２の代表色を文書の背景色とする。
【００２９】
すなわち、あるクラスタＸに属する画素数をクラスタＸのサイズと呼び、それをＮ（Ｘ）と記述することとすると、ステップＳ６において、Ｎ（Ａ）がＮ（Ｂ）よりも十分に大きい場合は、クラスタＡの代表色を該文書の背景色と決定して（ステップＳ７）処理を終了する。ここで、「十分に大きい」とは具体的には、例えば、１．５倍以上の開きがある場合である。すなわち、Ｎ（Ａ）＞Ｎ（Ｂ）×１．５の場合である。
【００３０】
ステップＳ６において、Ｎ（Ａ）がＮ（Ｂ）よりも十分に大きくない場合、それぞれのクラスタに属する画素の文書中における分布具合いを調べる。ステップ８において、クラスタＢに属する画素が大きな連結成分として文書中に存在する場合、すなわち、クラスタＢの代表色が文書の広範囲に分布している場合、該クラスタの代表色を該文書の背景色と決定することが可能である（ステップＳ８からＳ１０への点線）。図４は図３の文書における色の分布を示した図であり、色Ｂが広範囲に分布している場合の例である。逆に、クラスタＢの代表色が文書に広範囲に分布していない場合、すなわち、クラスタＢに属する画素が非連結な多数の小さな塊として存在するならば、クラスタＢの代表色は該文書の背景色とはなり得ないと判断して、クラスタＡの代表色を該文書の背景色と決定する（ステップＳ７）。ここで、「クラスタBの代表色は文書の広範囲に分布している」とは具体的には、例えば、横方向のライン毎にクラスタＢの代表色のヒストグラムを取ったとき、頻度０の区間が５０％以下の場合であるとすることができる。
【００３１】
ステップＳ８にて、クラスタＢの代表色が文書の広範囲に分布している場合であっても、背景色の判断がつかない場合は、ステップ９にてクラスタＢがクラスタＡより白っぽいかどうかを調べ、より白っぽいクラスタの代表色を該文書の背景色と決定する（ステップＳ７、又はステップＳ１０）。これは、背景色のほうが背景以外の色より白っぽいと考えられるからである。ここで、「色Ｂは色Ａよりも白っぽい」とは、具体的には、色Ｂの輝度が色Ａの輝度よりも大きいとする。ＲＧＢ系では白を（２５５、２５５、２５５）、黒を（０、０、０）と表すので、例えばＧｒｅｅｎ値が大きい方をより白っぽいと定義することができる。
【００３２】
なお、上記の説明において、クラスタＢは第２位のクラスタとしたが、クラスタＡよりサイズが小さいクラスタであれば、第２位である必要はない。上記のステップＳ６でＮＯ、Ｓ８でＹＥＳ、Ｓ９でＹＥＳの条件を満たす限り、Ｂが背景色として選択される。
【００３３】
ステップＳ６において、Ｎ（Ａ）がＮ（Ｂ）よりも十分に大きくない場合、それ以降の処理を行わず、この時点でユーザーに背景色の自動特定が困難である旨の警告を発してもよい。例えば、「背景色自動特定に失敗しました」等の警告を発する。
【００３４】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。
【００３５】
【発明の効果】
上述の通り、本発明によれば、カラー文書画像の背景色を高速に精度よく求めることができる。また、文書中に大きな図・写真が存在する場合でも正確に背景色を特定できる。従って、背景色を利用する画像認識処理を効率良く行うことができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施例における文書画像認識装置の構成図である。
【図２】本発明の一実施例における背景色特定処理のフローチャートである。
【図３】背景より大きい写真が含まれた文書の例を示す図である。
【図４】図３の文書における色の分布を示した図
【符号の説明】
１００  ＣＰＵ
１０１  メモリ
１０２  スキャナ
１０３  通信装置
１０４  表示装置
１０５  ハードディスク
１０６  キーボード
１０７  ＣＤ−ＲＯＭドライブ
【図１】
0004001446.tif 000002
【図２】
0004001446.tif 000003
【図３】
0004001446.tif 000004
【図４】
0004001446.tif 000005