(57)【特許請求の範囲】
【請求項１】
複雑で多様な背景を持ったカラー文書画像から文字色部分のみを抜き出すようにしたカラー文書画像からの文字抽出方法であって、
（ａ）前記カラー文書画像からスムージングによるディザの除去を行い、
（ｂ）該ディザの除去を行った画像の色値のＲＧＢからＬ* ｕ* ｖ* ヘの変換とヒストグラム作成を行い、
（ｃ）次に、前記Ｌ* ｕ* ｖ* の３次元だけでなく、画像の垂直方向の座標（ｙ座標）も加えた４次元の空間に対して、クラスタ内の要素の分散による分割、統合、所属要素数による消滅を含むファジイクラスタリングを行うことにより、各色がそのクラスタにどの程度属しているかを示す帰属度を求め、
（ｄ）次に、前記帰属度を基に閾値ｔi は、そのクラスタに所属する要素の数（重みつき帰属度合計）ρi に応じて、
0003923243.tif 000013
つまり、所属する要素の数が多いクラスタは画像の広い範囲で使われる背景の色であるので、なるべく文字部分を含まない２値画像を作成するために閾値を高くし、逆に、所属する要素の数が少ないクラスタは文字色である可能性が高く、色のにじみも含めて抽出するために閾値は低くするように設定する色分解画像である２値画像の作成を行い、
（ｅ）次に、前記２値画像のノイズを除去し、
（ｆ）次に、黒画素および白画素のラベリングを行い、
（ｇ）次に、文字抽出に適した２値画像の選択を行い、
（ｈ）次に、文字行の抽出を行うことを特徴とするカラー文書画像からの文字抽出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複雑で多様な背景を持ったカラー文書画像から文字色部分のみを抜き出すようにした、カラー文書画像からの文字抽出方法に関するものである。
【０００２】
【従来の技術】
近年、多くの光学的文字読み取り装置（ＯＣＲ）が研究されてきた。その結果、印刷物からの文字認識では、非常に高い精度の認識が行なわれるようになってきている。
【０００３】
しかしながら、それらのシステムはすべて２値（例えば白黒）の印刷物を対象にしたものであり、カラー文書を読み取るためのシステムは存在しない。
【０００４】
〔１〕Ｍ．Ｃｅｌｅｎｋ，“Ａ  Ｃｏｌｏｒ  Ｃｌｕｓｔｅｒｉｎｇ  Ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ”，Ｃｏｍｐｕｔ．Ｖｉｓｉｏｎ  Ｇｒａｐｈｉｃｓ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓ．５２，ｐｐ．１４５−１７０（１９９０）
〔２〕Ｊ．Ｌｉｕ  ａｎｄ  Ｙ．Ｈ．Ｙａｎｇ，“Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ  Ｃｏｌｏｒ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ”，ＩＥＥＥ  Ｔｒａｎｓ．Ｐａｔｔｅｒｎ  Ａｎａｌ．Ｍａｃｈ．Ｉｎｔｅｌｌ．１６，７，ｐｐ．６８９−７００（１９９４）
〔３〕Ｓ．Ｈ．Ｐａｒｋ，Ｉ．Ｄ．Ｙｕｎ  ａｎｄ  Ｓ．Ｕ．Ｌｅｅ，“Ｃｏｌｏｒ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ３−Ｄ  Ｃｌｕｓｔｅｒｉｎｇ：Ｍｏｒｐｈｏｌｏｇｉｃａｌ  Ａｐｐｒｏａｃｈ”，Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ３１，８，ｐｐ．１０６１−１０７６（１９９８）
〔４〕Ｊ．Ｏｈｙａ，Ａ．Ｓｈｉｏ  ａｎｄ  Ｓ．Ａｋａｍａｔｓｕ，“Ｒｅｃｏｇｎｉｔｉｏｎ  Ｃｈａｒａｃｔｅｒｓ  ｉｎ  Ｓｃｅｎｅ  Ｉｍａｇｅｓ”，ＩＥＥＥ  Ｔｒａｎｓ．Ｐａｔｔｅｒｎ  Ａｎａｌ．Ｍａｃｈ．Ｉｎｔｅｌｌ．１６，２，ｐｐ．２１４−２２０（１９９４）
〔５〕松尾賢一、梅田三千雄、“濃淡及び色情報による情景画像からの文字列抽出”電子情報通信学会技術研究会報告ＰＲＵ９２−１２１（１９９２）
〔６〕仙田修司、美濃導彦、池田克夫、“文字列の単色性に着目したカラー画像からの文字パタン抽出法”電子情報通信学会技術研究報告ＰＲＵ９４−２９（１９９４）
〔７〕Ｙ．Ｚｈｏｎｇ，Ｋ．Ｋａｒｕ  ａｎｄ  Ａ．Ｋ．Ｊａｉｎ，“Ｌｏｃａｔｉｎｇ  Ｔｅｘｔ  ｉｎ  Ｃｏｍｐｌｅｘ  Ｃｏｌｏｒ  Ｉｍａｇｅｓ”，Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ２８，１０，ｐｐ．１５２３−１５３５（１９９５）
〔８〕Ｊ．Ｃ．Ｂｅｚｄｅｋ，“Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｗｉｔｈ  Ｆｕｚｚｙ  Ｏｂｊｅｃｔｉｖｅ  Ｆｕｎｃｔｉｏｎ  Ａｌｇｏｒｉｔｈｍｓ”Ｐｌｅｎｕｍ  Ｐｒｅｓｓ（１９８１）
【０００５】
【発明が解決しようとする課題】
現在出版されている印刷物の中には、多彩な色を持ち、複雑な背景の上に書かれた、雑誌のような出版物も存在する。そのような雑誌等のカラー印刷物から文字認識を行なう場合、白地に黒で印刷されているだけの印刷物と違い、背景の中から文字色を見つけ出す作業が必要となる。
【０００６】
ところで、カラー画像の領域分割に関しては、過去に上記したいくつかの研究がある（上記文献〔１〕，〔２〕，〔３〕）。また、情景画像からの文字抽出に関しても、上記文献〔４〕，〔５〕のような研究がある。しかし、上記文献〔４〕はカラー画像の色の情報を利用しておらず、上記文献〔５〕は限定された状況（画像中に文字列が１列のみ）の研究である。
【０００７】
そこで、文字色を推定し、それを利用して文字を抽出する方法としては、上記文献〔６〕，〔７〕が存在する。
【０００８】
上記文献〔６〕は、色ヒストグラムからＫ平均法（Ｋ−ｍｅａｎｓ法）によるクラスタリングによって色を分解しており、本発明の方法に近いアルゴリズムになっている。
【０００９】
しかしながら、本発明の方法はファジイクラスタリングを用いた方法であり、要素の所属が２値的（所属するか、しないか）に決まってしまうハードクラスタリングと異なり、所属の程度まで判別できるクラスタリングを使用している。
【００１０】
このファジイクラスタリングによって得られる帰属度を用いることによって、２値的な分類だけでは判別の難しかった画像についての微妙な色の識別ができるようになる。そして、色ごとに分解された画像（２値画像）から、文字パターンを抽出する方法についても述べる。
【００１１】
本発明では、２値化された色分解画像をラベリングし、そのラベルの外接矩形から文字の並びと思われる特徴を見つけ出している。本発明の方法は、同じ文字列内の各文字の色が同一で単色であれば、複数行で複数色の文字列があっても抽出可能である。また、様々なサイズの文字が混じっていても抽出が可能である。
【００１２】
本発明は、上記状況に鑑みて、文字列が単色で書かれていることを前提として、色情報をクラスタリングすることによって、画像の背景色と文字色を分離し、複雑で多様な背景からでも文字を抽出できるカラー文書画像からの文字抽出方法を提供することを目的としている。
【００１３】
【課題を解決するための手段】
本発明は、上記目的を達成するために、
〔１〕複雑で多様な背景を持ったカラー文書画像から文字色部分のみを抜き出すようにしたカラー文書画像からの文字抽出方法であって、（ａ）前記カラー文書画像からスムージングによるディザの除去を行い、（ｂ）このディザの除去を行った画像の色値のＲＧＢからＬ* ｕ* ｖ* ヘの変換とヒストグラム作成を行い、（ｃ）次に、前記Ｌ* ｕ* ｖ* の３次元だけでなく、画像の垂直方向の座標（ｙ座標）も加えた４次元の空間に対して、クラスタ内の要素の分散による分割、統合、所属要素数による消滅を含むファジイクラスタリングを行うことにより、各色がそのクラスタにどの程度属しているかを示す帰属度を求め、（ｄ）次に、前記帰属度を基に閾値ｔi は、そのクラスタに所属する要素の数ρi （重みつき帰属度合計）に応じて、
0003923243.tif 000002
つまり、所属する要素の数が多いクラスタは画像の広い範囲で使われる背景の色であるので、なるべく文字部分を含まない２値画像を作成するために閾値を高くし、逆に、所属する要素の数が少ないクラスタは文字色である可能性が高く、色のにじみも含めて抽出するために閾値は低くするように設定する色分解画像である２値画像の作成を行い、（ｅ）次に、前記２値画像のノイズを除去し、（ｆ）次に、黒画素および白画素のラベリングを行い、（ｇ）次に、文字抽出に適した２値画像の選択を行い、（ｈ）次に、文字行の抽出を行うことを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図を参照しながら説明する。
【００１６】
まず、本発明に係るカラー文書画像からの文字抽出のための処理の概要について説明する。
【００１７】
大まかな流れとしては、色分解画像を作成し、その２値化したデータをラベリングし、そのラベルを囲む外接矩形より文字列を抽出する、といった流れになっている。本発明の方法の特徴は、色分解画像を作成するにあたり、入力画像の色情報に対してファジイクラスタリングを用いて色分割を行なっていることである。
【００１８】
細かな処理の流れは、図１に示すように、以下の通りである。
【００１９】
（１）まず、カラー文書画像からのスムージングによるディザの除去を行う（ステップＳ１）。
【００２０】
（２）次に、画素の色値のＲＧＢからＬ* ｕ* ｖ* ヘの変換とヒストグラム作成を行う（ステップＳ２）。
【００２１】
（３）次に、色情報のファジイクラスタリングを行う（ステップＳ３）。
【００２２】
（４）次に、帰属度を基に色分解画像（２値画像）作成を行う（ステップＳ４）。
【００２３】
（５）次に、２値画像のノイズ除去を行う（ステップＳ５）。
【００２４】
（６）次に、黒画素および白画素のラベリングを行う（ステップＳ６）。
【００２５】
（７）次に、文字抽出に適した２値画像の選択を行う（ステップＳ７）。
【００２６】
（８）次に、文字行の抽出を行う（ステップＳ８）。
【００２７】
次に、それぞれの処理における細かなアルゴリズムについて説明する。
【００２８】
▲１▼上記（１）の「スムージングによるディザの除去」
３色もしくは４色の色を周期的に配置することで、見た目にはそれらの色を混ぜ合わせたような効果を期待するのがディザ法である。ディザ法によって印刷されている文字があると、図２（ａ）に示すように文字の単色性が満たされ難い。上記文献〔６〕では、スムージングを行なうことによって、ディザの影響を軽減する方法が提案されている。そこでは、文字の輪郭がぼやけてしまわないように、画像のエッジの弱い部分のみを平均化する方法を提案している。なお、図２において、１はディザ法によって印刷されている文字、２はディザが除かれた文字である。
【００２９】
本発明の方法では、エッジであるかどうかの判定に、次の式を用いている。
【００３０】
ｄi ｍａｘ＝ｍａｘ（‖ｘj −ｘk ‖）                        …（１）
ｊ，ｋ∈Ｎ＝｛座標ｉとその８近傍の座標｝
なお、ｘi は座標ｉの色値を表す
式（１）は、目標画素とその８近傍の画素の計９つの画素の色値のうち、最も離れた２つの色値の距離である。ｄi ｍａｘが一定値以内ならば、エッジではないと考えて、式（２）で表されるフィルタで８近傍の画素との平均化を行なう。
【００３１】
【数１】
0003923243.tif 000003
【００３２】
ｄi ｍａｘが一定値以上ならば、エッジを含んでいると考えて平均化を行なわない。
【００３３】
このようなスムージング処理を行なうことによって、図２（ａ）が図２（ｂ）のようになる。
▲２▼上記（２）の「色値のＲＧＢからＬ* ｕ* ｖ* への変換とヒストグラム作成」ＣＩＥのＬ* ｕ* ｖ* 色空間は、人間の色感覚に近いとされる均等知覚色空間である。そこで、ＲＧＢで表される色値をＬ* ｕ* ｖ* に変換する。その変換式は以下の通りである。
【００３４】
Ｘ＝０．４７８Ｒ＋０．２９９Ｇ＋０．１７５Ｂ                …（３）
Ｙ＝０．２６３Ｒ＋０．６５５Ｇ＋０．０５１Ｂ                …（４）
Ｚ＝０．０２０Ｒ＋０．１６０Ｇ＋０．９０８Ｂ                …（５）
Ｌ* ＝２５（１００Ｙ／Ｙ0 ）1/3 −１６                      …（６）
ｕ* ＝１３Ｌ（ｕ′−ｕ′0 ）                                …（７）
ｖ* ＝１３Ｌ（ｖ′−ｖ′0 ）                                …（８）
ｕ′＝４Ｘ／（Ｘ＋１５Ｙ＋３Ｚ）                            …（９）
ｖ′＝９Ｙ／（Ｘ＋１５Ｙ＋３Ｚ）                            …（１０）
なお、ＲＧＢは多くの場合０〜２５５の値を持つデータだが、それを０〜１の値に変換したものを上記の式に適用する。
【００３５】
また、Ｙ0 ＝１，ｕ0 ＝０．２０１，ｖ0 ＝０．４６１となっている。
【００３６】
ＲＧＢからＸＹＺへの変換式についてはいくつかのバリエーションが存在するが、本発明では上記の式を用いている。なお、このＬ* ｕ* ｖ* 色空間は立方体をしておらず、Ｌ* ，ｕ* ，ｖ* のとる値の範囲もそれぞれ違っている。イメージとしては図３（ｂ）に示すような形状をしている。ちなみにＬ* は０〜１１６の値をとり、ｕ* は−９７〜１７１の値をとり、ｖ* は−１２８〜１０９の値をとる。なお、図３（ａ）はＲＧＢ色空間を示している。
【００３７】
このようにして得られた色値からヒストグラムを作成し、クラスタリングを行なうが、本システムでは文字がすべて横書きで書かれているものとして考え、その位置情報も利用してクラスタリングを行なう。そこで、Ｌ* ｕ* ｖ* の３次元だけでなく、画像の垂直方向の座標（ｙ座標）も加えた４次元の空間に対してクラスタリングを行なう。この４次元の空間は１７×４５×４０×１０（Ｌ* が１７，ｕ* が４５，ｖ* が４０，ｙ座標が１０）に分けられ、ヒストグラムが作成される。
【００３８】
▲３▼上記（３）の「色情報のファジイクラスタリング」
入力された画像の色情報に対してファジイクラスタリングを行ない、色を分解する。ファジイクラスタリングが、ハードクラスタリングといわれる通常のクラスタリングと異なる点は、要素が複数のクラスタに少しずつ所属する事を認めている点である。ハードクラスタリングにおける、要素のクラスタヘの所属の有無を１と０で表すと、図４に示すようになる。これがファジイクラスタリングでは、各クラスタ中心までの距離の比で決まる０〜１の値の帰属度という数値で表される（図５参照）。帰属度は、要素にそのクラスタがどれだけ強い影響を与えているかを示している。
【００３９】
これにより、あるクラスタに所属するかしないかといった２値的な判別ではなく、どのクラスタにどの程度所属しているかといった程度の違いまで判断できるようになる。
【００４０】
▲３▼−１：ＦＣＭについて説明する。
【００４１】
代表的なファジイクラスタリングとしては、Ｂｅｚｄｅｋらによるファジイｃ−ｍｅａｎｓ法（ＦＣＭ）、つまり、上記文献〔８〕に示されるアルゴリズムが存在する。これは、Ｋ−ｍｅａｎｓ法に帰属度の考えを付け加えて拡張したアルゴリズムである。ここで、Ｋ−ｍｅａｎｓ法について説明すると、Ｋ−ｍｅａｎｓ法は予めクラスタ数（Ｋ個）が定まっている場合のクラスタリング手法である。ここでは、まず、初期クラスタ中心を適当に与え、各要素を最も近いクラスタ中心に所属させる。その後、各クラスタに対して平均値により新たなクラスタ中心を計算し、再度新しいクラスタを求める。これらの操作をクラスタ中心が変化しなくなるまで繰り返し、最終的なクラスタを得る。
【００４２】
このＦＣＭのアルゴリズムを簡単に述べると次のようになっている。
【００４３】
ステップ１：ｃ個の初期クラスタ中心ｖi 、（ｉ＝１，２，…，ｃ）を適当に決める。
【００４４】
ステップ２：すべての要素ｘk 、（ｋ＝１，…，ｎ）の帰属度
【００４５】
【数２】
0003923243.tif 000004
【００４６】
を求める
ステップ３：新たなクラスタ中心
【００４７】
【数３】
0003923243.tif 000005
【００４８】
ここでのｍは帰属度に対する重み値で、１＜ｍ＜∞の値をとり、ｍが大きくなればなるほど、帰属度の大きな要素ｘk のクラスタ中心ｖi に対する影響が大きくなる。なお、式（１１），（１２）で、ｍ→１，ｕik∈｛０，１｝と置けば、このアルゴリズムは通常のＫ−ｍｅａｎｓ法と同じものとなる。
【００４９】
▲３▼−２：自己収束型ファジイクラスタリング
本発明では、最も一般的なファジイクラスタリングであるＦＣＭにクラスタの分割、統合、消滅といった処理を加えた、自己収束型ファジイクラスタリングを使用している。
【００５０】
この自己収束型ファジイクラスタリングのアルゴリズムは以下のようになっている。
【００５１】
ステップ１：クラスタ数の初期値ｃ、帰属度の重みｍ、収束判定値ε、最大繰り返し数Ｉ、クラスタ分割条件の閾値θS 、クラスタ統合の閾値θd 、クラスタ消滅条件の閾値θC を決める。
【００５２】
ステップ２：初期クラスタ中心ｖi ，（ｉ＝１，２，…，ｃ）を決める。
【００５３】
ステップ３：要素ｘk ＝（ｘkL，ｘku，ｘkv，ｘky）、（ｋ＝１，…，ｎ）の帰属度
【００５４】
【数４】
0003923243.tif 000006
【００５５】
を求める。
【００５６】
ステップ４：各クラスタの分散
【００５７】
【数５】
0003923243.tif 000007
【００５８】
を求め、ソートする。
【００５９】
ステップ５：σi がθS 以上のクラスタを分割する。なお、分割後の新しいクラスタ中心は、
【００６０】
【数６】
0003923243.tif 000008
【００６１】
（Ｓ1 ＝｛ｘk ｜ｘkq＞ｖiq｝、Ｓ2 ＝｛ｘk ｜ｘkq＜ｖiq｝、ｑはＬ，ｕ，ｖ，ｙのうち最も分散の大きいもの）
ステップ６：クラスタ間の距離がθd 以下のクラスタを統合する。なお、統合後の新たなクラスタ中心は、２つのクラスタ中心の中間点である。クラスタを統合したならば、すべての要素の帰属度を求め直す。
【００６２】
ステップ７：各クラスタの所属要素数（重みつき帰属度合計）
【００６３】
【数７】
0003923243.tif 000009
【００６４】
がθC 以下のクラスタを消滅させ、再度すべての要素の帰属度を計算する。
【００６５】
ステップ８：新たなクラスタ中心
【００６６】
【数８】
0003923243.tif 000010
【００６７】
を計算する。
【００６８】
【数９】
0003923243.tif 000011
【００６９】
さもなくば、ステップ４に戻る。
【００７０】
クラスタ数が増減し、自己収束するアルゴリズムは、Ｋ−ｍｅａｎｓ法を基にしたものではいくつも存在する。本発明の方法は、ハードクラスタリングで使われる自己収束化方法を、ファジイクラスタリングに拡張したものである。本来のファジイクラスタリングと異なる点は、ステップ４、ステップ５のクラスタ分割処理、ステップ６のクラスタ統合処理、そして、ステップ７のクラスタ消滅処理である。
【００７１】
クラスタ分割処理は、クラスタの分散の大きさを見て行われる。分散の大きなクラスタは２つに分割される。次に、クラスタ同士が接近していた場合（クラスタ中心間の距離が小さかった場合）、その２つのクラスタを１つにする。そして、このクラスタ数の変化などによって、所属する要素の数（重みつき帰属度合計）が少なくなったクラスタは消滅させる。
【００７２】
ただし、このようなクラスタ数決定アルゴリズムは、解が振動してしまい、収束しないことがある。そこで、解の振動を抑えるために、繰り返しが進むにつれて閾値や収束条件を緩めることが考えられる。
【００７３】
このような処理を加えた、適切なクラスタ数で自己収束するファジイクラスタリングを用いて、各クラスタおよび帰属度が計算される。
【００７４】
なお、実験結果のところで示してあるデータは以下の初期値、閾値で計算された結果である。
【００７５】
ｃ＝１
ｍ＝１．５
Ｉ＝１０
ε＝１．０
θS ＝８．０
θd ＝３．０
θC ＝全画素数／１００
なお、閾値に関しては、解が振動することが多いことから、繰り返しが進むにつれて閾値を緩める方法を用いた。この値は、あくまで実験的に求めた値である。
【００７６】
▲４▼上記（４）の「帰属度を基に色分解画像（２値画像）作成」
ファジイクラスタリングによって得られる各色の帰属度から、そのクラスタヘの所属の程度が分かる。その帰属度を基に、２値画像を作成する。その際の閾値ｔi は、そのクラスタに所属する要素の数ρi 〔式（１６）〕に応じて次の式で決定する。
【００７７】
【数１０】
0003923243.tif 000012
【００７８】
所属する要素の数が多いクラスタは画像の広い範囲で使われる背景の色であると考えられ、なるべく文字部分を含まない２値画像を作成するために閾値を高くする。逆に、所属する要素の数が少ないクラスタは文字色である可能性が高く、色のにじみも含めて抽出するために閾値は低くする。
【００７９】
なお、この２値化処理の際には、ｙ座標（画素の垂直方向の座標）が違うのみでＬ* ，ｕ* ，ｖ* の値がほぼ同じクラスタに対しては、それぞれの帰属度を足して１つのものとして閾値処理を行っている。画像によっては、背景色のように広い範囲で使われている色が、ｙ座標で２つに分けられることがある。このような場合、２つのクラスタを統合して処理しても、文字色と背景色の分離性にはほとんど影響しないので、２値画像の数を減らし、処理の効率化を図るために、クラスタを統合処理する必要がある。
【００８０】
このようにして、図６の画像からは図７中に示してあるような２値画像が作成される。
【００８１】
▲５▼上記（５）の「２値画像のノイズ除去」
作成された２値画像には、スムージング処理で吸収しきれなかったディザや、背景上の孤立点等がノイズとして出現する。具体的には、画素の連結数が少ないものである。画像の解像度によって、いくつの連結数のものまでをノイズとするかは変わる。これらは、次のラベリング処理やそれに続く文字行の抽出で、使用メモリ量の減少や処理速度の高速化のために除去する。
【００８２】
▲６▼上記（６）の「黒画素および自画素のラベリング」
ラベリングとは、同じ連結成分に属するすべての画素に同じラベル（番号）を割り当て、異なった連結成分には異なったラベルを割り当てる操作である。２値化された画像の黒画素、白画素両方に対してラベリングを行ない、各連結成分に対して外接矩形を求める。図８に示すような２値画像には、図９（ａ），図９（ｂ）に示すようにラベルが付けられる。ここでは４連結でラベリングを行なっている。そして、同一のラベルをつけられた連結成分を囲う矩形（外接矩形）を元に文字の抽出を行なう。
【００８３】
図１０（ａ），図１０（ｂ）が図９の黒画素、白画素のラベルに対してのそれぞれの外接矩形となる。この時、大き過ぎる矩形（入力画像の４分の１以上の大きさ）、あるいは小さ過ぎる矩形（幅と高さの両方が３画素以下）、縦横比が大きく違う矩形（幅／高さが１５以上、または１５分の１以下）は、文字矩形ではないとして除外する。
【００８４】
図６の画像から得られる外接矩形は、図７に示すようになっている。
【００８５】
▲７▼上記（７）の「文字抽出に適した２値画像の選択」
以後の処理の高速化とメモリの節約のため文字抽出に適した画像を選ぶ。その際には次の４点を考慮する。
【００８６】
・矩形の分散
・矩形数
・画素密度
・平均矩形サイズ
各文字行は同じくらいの大きさの矩形からできているはずなので、各２値画像中の矩形の幅と高さの分散を計算し、その値が大き過ぎる画像については文字行を含んでいないと考え、以後の処理を行なわない。また、矩形数が多過ぎるものも、文字色を含んだ画像である可能性が低いので棄却する。各矩形ごとの黒及び白の画素密度が高過ぎたり低過ぎたりするものも、文字ではない可能性が高いので棄却する。なお、画素密度（ｄｅｎｓｉｔｙ）とは
ｄｅｎｓｉｔｙ＝Ｎ／（ｗ＋ｈ）                            …（１９）
ここで、Ｎ：ラベルのついた画素数
ｗ：矩形の幅
ｈ：矩形の高さ
で表される値である。また、平均矩形サイズが小さ過ぎるものも文字を含んでいないとして棄却する。
【００８７】
▲８▼上記（８）の「文字行の抽出」
文字矩形が含まれていると思われる２値画像が求まったら、文字列としての特徴を持った矩形を抽出するために、各矩形ごとに隣接する（対象矩形から一定距離内にある）矩形を求め、それをもとに矩形の連結（文字行として推定されるもの）を求める。この隣接矩形は対象矩形から見て次の条件を満たすものである。
【００８８】
＊対象矩形をその高さ（もしくは幅のどちらか大きい方）の０．７倍、上下左右に拡大した範囲に、一部、または全部含まれている（図１１参照）。
【００８９】
＊対象矩形の中に完全に含まれてしまっていない。つまり、一部は含まれていても良い）〔図１２（ａ）参照〕。
【００９０】
＊対象矩形と交差していない〔図１２（ｂ）参照〕。
【００９１】
この条件を満たす矩形を対象矩形の隣接矩形とし、それらを次々と連結させて矩形の連なり、連結矩形を求める。この隣接矩形の連結条件は以下の通りである。
【００９２】
＊矩形の大きさが同じくらいである（幅及び高さが対象矩形の４分の１以上４倍以下、かつ幅もしくは高さのどちらかが対象矩形の２分の１以上２倍以下）。
【００９３】
＊それぞれの矩形の代表色が近い色である。
【００９４】
＊矩形がほぼ水平にならんでいる（矩形の左下の座標同士をみて、その角度θが水平から１０°以内（図１３参照）。
【００９５】
上記の条件を満たす矩形を次々に連結させて、連結矩形を求める。
【００９６】
このようにして求めた連結矩形の連結数が４以上であれば、その連結矩形は文字行の一部であるとみなす。そして、その連結矩形から文字行の幅と高さを推定する。
【００９７】
推定される文字行の高さは、連結矩形の最上部と最下部を、もっとも高さの大きい矩形の高さの２分の１だけ広げた範囲である（図１４参照）。幅は、先に求めた高さの範囲内で、連結矩形と同じくらいの大きさで近い色の矩形を求め、そのような矩形の存在する終端を図１４に示すように延長した範囲とする。推定された文字行の範囲内に矩形の中心が存在し、その矩形の色が連結矩形の色に近いならば、それを文字の要素として抽出する。
【００９８】
上記した通りに、いくつかのカラー文書画像に対して実験を行なった結果、その多くでほとんどの文字を抽出できた。図１５は図６から文字を抽出した結果である。他にもいくつか実験結果を示す。図１６、図１７では、すべての文字が抽出されている。
【００９９】
特に、ファジイクラスタリングを用いることにより、ハードクラスタリングを用いた時よりもいくつかの点で効果的に文字を抽出できるようになった。まず、全画素中で少数しか使われていない文字色は、ハード、ファジイの両クラスタリングでも背景との分離が困難である。この時、ハードクラスタリングではその文字を抽出することはまず不可能であるが、ファジイクラスタリングでは帰属度の違いにより背景より分離することが可能になることが多い。
【０１００】
また、色空間の広い範囲に渡って色が使われている画像では、ハードクラスタリングは必要以上に色空間を分割してしまい、処理効率の悪化や背景パターンの誤抽出が起こりやすくなっていたが、ファジイクラスタリングではそれらは改善されている。逆に、使われている色数が少なく偏っていた場合には、ファジイクラスタリングの方が多くクラスタを生成する傾向がある。しかし、ファジイクラスタリングでは極端にクラスタ数が多くなることはなかったので、処理効率の点でも十分有用性があると言える。
【０１０１】
本発明の方法による文字抽出は、背景に複雑で多様な色が使われている時に特に有効である。シンプルな背景（模様がなく、単一色）の場合には、ハードクラスタリングや、従来の他の方法を用いても文字抽出が容易であり、メモリや処理速度の効率の点で本方法よりすぐれているものも多い。
【０１０２】
本発明の方法では、色ヒストグラムと画像の垂直座標を元にクラスタリングを行ない色分解画像を作成したが、本発明の方法だけでは、背景と文字色を完全に分離することは困難な場合もある。
【０１０３】
また、今後は横書きの文字だけでなく、縦書きの文字にも対応させていくことが考えられるので、その場合には本発明の方法のような垂直座標だけではうまく処理できない。そのような場合には、画像中の位置情報を現在以上にうまく利用したクラスタリングを考えることが必要である。
【０１０４】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、それらを本発明の範囲から排除するものではない。
【０１０５】
【発明の効果】
以上、詳細に説明したように、本発明によれば、以下のような効果を奏することができる。
【０１０６】
（Ａ）カラー文書画像からの文字抽出にあたり、ファジイクラスタリングを利用し、類似色をまとめることによって、複雑で多様な背景を持ったカラー文書画像から、文字色部分のみを抜き出すことができる。ファジイクラスタリングは、要素のクラスタヘの所属の程度を表す帰属度という値を持つクラスタリングアルゴリズムであり、これにより、微妙な色（背景と文字の中間色など）の所属の程度が分かるようになり、２値的な分類をするハードクラスタリングでは判断の難しい低画質の画像や、色彩の豊富な画像についてもそれなりに良好な結果が得られるようになった。
【０１０７】
（Ｂ）画素数の少ない色の分離が有効にできるようになったり、色彩の豊富な画像で必要以上にクラスタを生成しなくなった。本発明は、特に、複雑な背景で多彩な色を持つ画像に対して有効性が認められた。
【図面の簡単な説明】
【図１】本発明にかかるカラー文書画像からの文字抽出フローチャートである。
【図２】本発明にかかるスムージング処理例の説明図である。
【図３】本発明にかかる色空間の形状例を示す図である。
【図４】従来のハードクラスタリング例の結果を示す図である。
【図５】本発明にかかるファジイクラスタリング例を示す図である。
【図６】本発明にかかる入力画像例を示す図である。
【図７】本発明にかかる図６の入力画像の色分解画像を示す図である。
【図８】２値画像例を示す図である。
【図９】図８の２値画像のラベリングの説明図である。
【図１０】図８の２値画像の外接矩形の説明図である。
【図１１】本発明にかかる隣接矩形の説明図である。
【図１２】本発明にかかる隣接矩形条件の説明図である。
【図１３】本発明にかかる矩形同士の角度の説明図である。
【図１４】本発明にかかる文字行の推定範囲の説明図である。
【図１５】本発明にかかる図６の入力画像の文字抽出結果を示す図である。
【図１６】本発明の実験結果（その１）を示す図である。
【図１７】本発明の実験結果（その２）を示す図である。
【符号の説明】
１    ディザ法によって印刷されている文字
２    ディザが除かれた文字
【図１】
0003923243.tif 000014
【図２】
0003923243.tif 000015
【図３】
0003923243.tif 000016
【図４】
0003923243.tif 000017
【図５】
0003923243.tif 000018
【図６】
0003923243.tif 000019
【図７】
0003923243.tif 000020
【図８】
0003923243.tif 000021
【図９】
0003923243.tif 000022
【図１０】
0003923243.tif 000023
【図１１】
0003923243.tif 000024
【図１２】
0003923243.tif 000025
【図１３】
0003923243.tif 000026
【図１４】
0003923243.tif 000027
【図１５】
0003923243.tif 000028
【図１６】
0003923243.tif 000029
【図１７】
0003923243.tif 000030