(57)【要約】【課題】画像データを複数層のプレーンへと属性分離する装置において、処理負荷の増加を抑えつつ高度な分離を可能にする。【解決手段】第１属性分離部４は、例えば黒色に近い画素を文字・線画部分と判断するなどの比較的簡単な処理で属性分離を行う。第２属性分離部５は、統計的処理などの比較的高度な処理により、文字・線画部分とそうでない部分とを判別する。ユーザは、画像データ入力部１から入力された画像データのうち、第２属性分離部５による高度な分離処理の対象とする領域を、領域指定部２により指定する。切り替え部３は、入力された画像データのうち、領域指定部２で指定された領域内のデータは第２属性分離部５に、その領域外のデータは第１属性分離部４に、それぞれ振り分けて供給する。第１属性分離部４で分離が困難な部分は、第２属性分離部５で分離できるので、良好な属性分離結果を得ることができる。【選択図】　　　　図１
2004032554.tif 000002
【特許請求の範囲】
【請求項１】
画像データを互いに異なる方式で文字・線画部分と絵柄部分とに分離する複数の属性分離手段と、
処理対象の画像に対する領域分けの指定を受け付け、この領域分け指定に従って、処理対象の画像の各領域のデータを、それぞれ対応する属性分離手段に処理させる制御手段と、
を備える画像処理装置。
【請求項２】
画像データを、第１の前景画像データと、第１の背景画像データと、前記第１の前景画像データ及び前記第１の背景画像データのうちのいずれを選択するかを画素毎に示した第１の選択データと、の３層に分離する第１の分離手段と、
画像データを、前記第１の分離手段とは異なる方式で、第２の前景画像データと、第２の背景画像データと、前記第２の前景画像データ及び前記第２の背景画像データのうちのいずれを選択するかを示す第２の選択データと、の３層に分離する第２の分離手段と、
処理対象の画像に対する領域分けの指定を受け付け、この領域分け指定に従って、処理対象の画像の各領域のデータを、前記第１の分離手段と前記第２の分離手段とに振り分けて処理させる制御手段と、
を備える画像処理装置。
【請求項３】
請求項２記載の画像処理装置であって、前記第１の分離手段が生成した第１の選択データと、前記第２の分離手段が生成した第２の選択データとを合成して合成選択データを生成する合成手段、を備える画像処理装置。
【請求項４】
前記領域指定手段が出力する領域指定情報に基づいて第３の選択データを生成すると共に、前記第１の分離手段が出力する３層のデータと、前記第２の分離手段が出力する３層のデータと、第３の選択データとからなる多層画像データプレーンを生成する多層画像データ生成手段、を更に備えたことを特徴とする請求項２記載の画像処理装置。
【請求項５】
画像データを文字・線画部分と絵柄部分に分離する第１の属性分離手段と、
前記第１の属性分離手段が出力する分離結果に関連する情報を表示する表示手段と、
前記表示手段の表示に対応付けて、前記画像データ上で閉領域の指定を受け付ける領域指定手段と、
前記領域指定手段で指定された閉領域に含まれる画像データを、前記第１の属性分離手段とは異なる方式で文字・線画部分と絵柄部分に分離する第２の属性分離手段と、
を備えたことを特徴とする画像処理装置。
【請求項６】
画像データを、第１の前景画像データと、第１の背景画像データと、前記第１の前景画像データ及び前記第１の背景画像データのうちのいずれを選択するかを画素毎に示した第１の選択データと、の３層に分離する第１の分離ステップと、
画像データを、前記第１の分離ステップとは異なる方式で、第２の前景画像データと、第２の背景画像データと、前記第２の前景画像データ及び前記第２の背景画像データのうちのいずれを選択するかを示す第２の選択データと、の３層に分離する第２の分離ステップと、
処理対象の画像に対する領域分けの指定を受け付け、この領域分け指定に従って、処理対象の画像の各領域のデータに対して、前記第１の分離ステップ又は前記第２の分離ステップを選択的に実行させる制御ステップと、
を含む画像処理方法。
【請求項７】
画像データを文字・線画部分と絵柄部分に分離する第１の属性分離ステップと、
前記第１の属性分離ステップの分離結果に関連する情報を表示する表示ステップと、
前記表示ステップの表示に対応付けて、前記画像データ上で閉領域の指定を受け付ける領域指定手段と、
前記領域指定手段で指定された閉領域に含まれる画像データを、前記第１の属性分離ステップとは異なる方式で文字・線画部分と絵柄部分に分離する第２の属性分離ステップと、
を含む画像処理方法。
【請求項８】
画像データを、第１の前景画像データと、第１の背景画像データと、前記第１の前景画像データ及び前記第１の背景画像データのうちのいずれを選択するかを画素毎に示した第１の選択データと、の３層に分離する第１の分離手段、
画像データを、前記第１の分離手段とは異なる方式で、第２の前景画像データと、第２の背景画像データと、前記第２の前景画像データ及び前記第２の背景画像データのうちのいずれを選択するかを示す第２の選択データと、の３層に分離する第２の分離手段、
処理対象の画像に対する領域分けの指定を受け付け、この領域分け指定に従って、処理対象の画像の各領域のデータを、前記第１の分離手段と前記第２の分離手段とに振り分けて処理させる制御手段、
としてコンピュータシステムを動作させるためのプログラム。
【請求項９】
画像データを文字・線画部分と絵柄部分に分離する第１の属性分離手段、
前記第１の属性分離手段が出力する分離結果に関連する情報を示す表示データを生成する表示手段と、
前記表示手段で生成した表示データに対応付けて、前記画像データ上で閉領域の指定を受け付ける領域指定手段、
前記領域指定手段で指定された閉領域に含まれる画像データを、前記第１の属性分離手段とは異なる方式で文字・線画部分と絵柄部分に分離する第２の属性分離手段、
としてコンピュータシステムを動作させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文字・線画と絵柄とが混在した画像データを処理する画像処理装置及び方法に関するものである。
【０００２】
【従来の技術】
近年標準化されたＩＴＵ−Ｔ勧告Ｔ．４４に規定されるＭＲＣ（Ｍｉｘｅｄ　Ｒａｓｔｅｒ　Ｃｏｎｔｅｎｔ）では、文字・線画と写真等の連続階調の絵柄とが混在する画像データを、背景プレーン、前景プレーン、及びそれら両者のどちらを選択するかを示す選択プレーン、の合計３層のプレーンに分離し、それぞれのプレーンを個別に圧縮符号化する方式を規定している。このＩＴＵ−Ｔ勧告Ｔ．４４に従うと、文字・線画部分と絵柄部分とを、それぞれ別のプレーンに分離し、各プレーンを、各々に含まれる画像データの特徴に適合する圧縮符号化方式で圧縮符号化することができる。例えば絵柄部分のプレーンはＩＴＵ−Ｔ勧告Ｔ．８１に示されたＪＰＥＧ方式のような非可逆圧縮方式で圧縮符号化し、文字・線画部分のプレーンはＩＴＵ−Ｔ勧告Ｔ．６に示されたＭＭＲ方式のような可逆圧縮方式で圧縮符号化するなどである。
【０００３】
このように、文字・線画と絵柄とが混在する画像データをその局所的な特性に応じて３層の画像データプレーンに分離し、プレーン毎に圧縮符号化方式を選択的に切り替える技術は、ＪＰＥＧ方式単独で文字写真混在画像データを圧縮する場合に比して圧縮効率を稼ぎつつ圧縮画像品質を高く保つことができるという利点がある。
【０００４】
一方、どのように文字・線画部分と絵柄部分を分離するかについてはＩＴＵ−Ｔ勧告Ｔ．４４で規格化されていない。そのため、ＭＲＣフォーマットを生成するための属性分離方法としては、画素値に基づき画素単位で分離を行う簡単な方法から、例えば特開２００１−２２３９０３や本出願人による特開２００１−１２７９９９などに示される複雑な方法まで、様々な方法が提案されている。
【０００５】
【発明が解決しようとする課題】
しかしながら従来技術として開示されてきた属性分離技術には次のような課題があった。
【０００６】
まず比較的簡単な属性分離アルゴリズムでは、文字・線画と絵柄とが混在する画像を高速に分離することができる反面、分離の能力はそれほどよくはなく、例えば絵柄部分に重畳している文字・線画部分を良好に分離することは難しい。
【０００７】
これに対し複雑な分離アルゴリズムでは、一般に分離性能が高いので複雑な構造の画像の分離も可能となり、例えば絵柄部分に重畳している文字・線画部分を良好に分離することが可能になるが、その反面処理が複雑になり処理速度が低下する。
【０００８】
本発明は、上記従来技術の問題点を解決するものであり、文字・線画と絵柄写真画像とが混在する画像を、その局所的な性質に従って、高速かつ高い分離性能で文字・線画部分と絵柄部分に分離することができる画像処理装置を提供することをその目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る装置は、画像データを互いに異なる方式で文字・線画部分と絵柄部分とに分離する複数の属性分離手段と、処理対象の画像に対する領域分けの指定を受け付け、この領域分け指定に従って、処理対象の画像の各領域のデータを、それぞれ対応する属性分離手段に処理させる制御手段とを備える。
【００１０】
また、本発明に係る装置は、画像データを、第１の前景画像データと、第１の背景画像データと、前記第１の前景画像データ及び前記第１の背景画像データのうちのいずれを選択するかを画素毎に示した第１の選択データと、の３層に分離する第１の分離手段と、画像データを、前記第１の分離手段とは異なる方式で、第２の前景画像データと、第２の背景画像データと、前記第２の前景画像データ及び前記第２の背景画像データのうちのいずれを選択するかを示す第２の選択データと、の３層に分離する第２の分離手段と、処理対象の画像に対する領域分けの指定を受け付け、この領域分け指定に従って、処理対象の画像の各領域のデータを、前記第１の分離手段と前記第２の分離手段とに振り分けて処理させる制御手段と、を備える。
【００１１】
本発明の好適な態様では、前記第１の分離手段が生成した第１の選択データと、前記第２の分離手段が生成した第２の選択データとを合成して合成選択データを生成する合成手段、を備える。
【００１２】
また本発明の別の好適な態様では、前記領域指定手段が出力する領域指定情報に基づいて第３の選択データを生成すると共に、前記第１の分離手段が出力する３層のデータと、前記第２の分離手段が出力する３層のデータと、第３の選択データとからなる多層画像データプレーンを生成する多層画像データ生成手段、を更に備える。
【００１３】
また、本発明に係る装置は、画像データを文字・線画部分と絵柄部分に分離する第１の属性分離手段と、前記第１の属性分離手段が出力する分離結果に関連する情報を表示する表示手段と、前記表示手段の表示に対応付けて、前記画像データ上で閉領域の指定を受け付ける領域指定手段と、前記領域指定手段で指定された閉領域に含まれる画像データを、前記第１の属性分離手段とは異なる方式で文字・線画部分と絵柄部分に分離する第２の属性分離手段と、を備える。
【００１４】
【発明の実施の形態】
図１は、本発明に画像処理装置の概略の構成を示す図である。
【００１５】
画像データ入力部１は、文字・線画と絵柄が混在した画像データを画像処理装置の内部に取り込む手段である。画像データ入力部１の例としては、例えばプラテンガラス上に置かれた原稿を光学的に読み取るスキャナなどを挙げることができる。
【００１６】
領域指定部２は、画像データ入力部１から取り込んだ画像データ上の任意の位置に閉領域を指定するための手段である。領域指定部２としては、例えば、キーボードから領域の位置と大きさを数値形式で入力する構成を用いることができる。また、ディスプレイ上に表示された画像上で、タッチペンやマウス等のポインティングデバイスを用いて領域を視覚的且つ直感的に領域を指定する構成を用いることもできる。
【００１７】
切り替え部３は、ユーザが指定した領域を示す領域情報を領域指定部２より受け取り、画像データ入力部１が取り込んだ画像データを、その領域情報に従って後段の第１の属性分離部４または第２の属性分離部５に振り分ける。
【００１８】
第１の属性分離部４および第２の属性分離部５は、文字・線画と絵柄が混在する入力画像データを、文字・線画に属する画像データと絵柄に属する画像データと、に属性分離する手段である。第１の属性分離部４と第２の属性分離部５とは、互いに異なる属性分離方式を用いる。ここでは、第１の属性分離部４としては、分離性能はそれほど高いものではないが、比較的簡単な処理で文字・線画部分と絵柄部分とを高速に分離できるものを用い、第２の属性分離部５としては、処理速度は低いが分離性能の高いものを用いる。第１の属性分離部４には、例えば画像データの局所的な性質を解析することで文字・線画部分と絵柄部分を分離する構成を用いることができる。また、第２の属性分離部５には、例えば画像データ全体を文書とみなして構造解析することで文字・線画部分と絵柄部分を分離する構成を用いることができる。
【００１９】
全体の動作の概要について、図１と図３を参照しつつ説明する。図３は、画像データ入力部１から読み込まれる文字・線画部分と絵柄部分が混在する画像データの一例を示している。この画像は、絵柄と文字が重畳する部分３１、文字・線画だけからなる部分３２、絵柄だけからなる部分３３を含んでいる。
【００２０】
一般のビジネス文書では、文字や線の色は黒であることが多く、この点に着目すると画像データの「黒色」画素を検出していくことで多くの文字・線画部分を抽出することができる。そこで、以下の例では、第１の属性分離部４は、そのような単純な属性分離アルゴリズムを用いた手段とする。
【００２１】
一方、ビジネス文書であっても強調したい文字や線の色は黒以外にしたり、あるいは文字・線画部分の背景に絵柄を配置することがある。このような箇所は、第１の属性分離部４では分離が難しい。このような箇所は、例えば、画像データの局所的性質を統計処理によって解析したり、あるいは文書構造解析を行ったりするアルゴリズムを用いることで、文字・線画部分と絵柄部分とに分離することができる。ここでは第２の属性分離部５は、そのような複雑な属性分離アルゴリズムを用いるものとする。
【００２２】
領域指定部２は、文字・線画と絵柄が混在する画像データの中で複雑な処理を必要とする部分（すなわち第２の属性分離部５で処理する部分）を指定するために用いる。図３に例示した画像を処理する場合、ユーザは領域指定部２を用いて、絵柄と文字が重畳する部分３３を閉領域として指定する。
【００２３】
切り替え部３は、領域指定部２が出力する領域情報に基づいて、処理対象の画像データのうち絵柄と文字が重畳する部分３３に該当する領域内の画像データを第２の属性分離部５へ、それ以外の領域の画像データを第１の属性分離部４へと、それぞれ振り分ける。
【００２４】
そして第１の属性分離部４および第２の属性分離部５は、それぞれ切り替え部３から入力される画像データを、自己の有する所定の属性分離アルゴリズムに従って文字・線画部分と、絵柄部分とに属性分離する。
【００２５】
以上の例では、切り替え部３によるスイッチングで画像データを２つの属性分離部４，５に振り分ける例を示したが、このような切り替え部３は必ずしも必要な構成ではない。例えば、入力部１から入力される入力画像のデータを第１の属性分離部４と第２の属性分離部５の両方に並列的に入力する構成とし、領域指定部２が出力する領域情報に応じ、それら両分離部４，５の一方を選択的に動作させるような構成も可能である。これには例えば、領域指定部２の出力をそれら両分離部４，５に供給するようにし、領域指定部２が、入力部１から両分離部４，５への画像データ供給に同期して、供給される画素のデータに応じた領域情報（すなわち指定された閉領域内の画素であるか否かを示す信号）を両分離部４，５に供給するようにし、各分離部４，５がその領域情報に応じて動作又は停止するように制御すればよい。
【００２６】
このように、領域指定部２が出力する領域情報に基づいて複数の属性分離アルゴリズムを選択的に切り替え可能としたことにより、画像の大部分を高速処理が可能な属性分離アルゴリズムで処理し、分離性能が要求される領域だけ、処理速度は遅いが分離性能が高い属性分離アルゴリズムで処理することができる。即ち、処理速度を大きく低下させることなく、精度よく画像全体を属性分離することができ。
【００２７】
次に第１の属性分離部４及び第２の属性分離部５の構成について、図２を用いて説明する。なお、第１の属性分離部４と第２の属性分離部５とは、共に図２に示すモジュール構成を有するものであるが、文字形状抽出部２１内での処理内容は両者で異なる。また、以下では、文字・線画部分の形状に注目して属性分離を行う場合を例にとって説明する。しかし、これはあくまで一例であり、それ以外にも例えば、文字部分の外接矩形の集合体で文字領域を抽出したりするなどの方法で行ってもよい。
【００２８】
文字形状抽出部２１は、入力される画像データから文字や線画などの形状を抽出し（抽出方法については後述）、抽出された文字・線画部分に対して「１」を、文字・線画部分の背景に相当する部分（すなわち抽出した形状の外側）に対しては「０」を出力する。文字形状抽出部２１の出力は第１画像データＤＴ１（以下の説明における文字色データに対応）と第２画像データＤＴ２（以下の説明における背景画像データに対応）の一方を一義的に選択する選択データＳＥＬとして用いることができる。なお、文字形状抽出部２１に入力すべき画像データの色空間は、以下の説明ではＣＩＥ−Ｌ＊ａ＊ｂ＊均等色空間を想定しているが、これに限定されるものではない。
【００２９】
マルチプレクサ（ＭＵＸ）２２は、文字色データＤＴ１と背景画像データＤＴ２との、２系統の出力を備える。マルチプレクサ２２には、処理対象であるＬ＊ａ＊ｂ＊画像データと、文字形状抽出部２１からの選択データＳＥＬとが入力される。そして、マルチプレクサ２２は、選択データが「１」を示した時は、その時の（すなわち当該選択データに対応する画素の）Ｌ＊ａ＊ｂ＊画像データの値を文字色データＤＴ１として出力すると同時に、背景画像データＤＴ２としては、所定値の画像データ、例えばＬ＊＝ａ＊＝ｂ＊＝０、を出力する。また、選択データが「０」を示した時は、マルチプレクサ２２は、その時の入力Ｌ＊ａ＊ｂ＊画像データの値を背景画像データＤＴ２として出力すると同時に、文字色データＤＴ１として所定値の画像データ、例えばＬ＊＝ａ＊＝ｂ＊＝０、を出力する。従って、第１属性分離部４及び第２属性分離部５からそれぞれ出力される選択データＳＥＬ、文字色データＤＴ１、及び背景画像データＤＴ２は全て、主走査方向と副走査方向が同じ大きさとなる。この３つの出力を、ＩＴＵ−Ｔ勧告Ｔ．４４（ＭＲＣ）の３つのプレーンとして用いることができる。
【００３０】
以上説明した文字形状抽出による属性分離を、文字部分と絵柄部分が混在した画像データに対して適用した結果について、図６を参照しつつ説明する。
【００３１】
図６（ａ）は、入力される原稿画像６０の一例であり、絵柄部分に相当する「日本地図」と色付き文字部分に相当する「ＪＡＰＡＮ」が混在している。これに対し図６（ｂ）は、その原稿画像に対する属性分離処理の結果としてできる３つの画像プレーン６１，６２，６３を示す図である。属性分離処理によって抽出された「ＪＡＰＡＮ」の文字形状は、選択データＳＥＬのプレーン６１（選択プレーン）となる。また、第１画像データＤＴ１のプレーン６２（文字色プレーン）には、原稿画像６０のうち選択データＳＥＬが「１」（即ち図６（ｂ）における選択データＳＥＬの「黒」の部分）に該当する領域のデータが選択され、ここでは色付き文字の「ＪＡＰＡＮ」となる。そして第２画像データＤＴ２のプレーン６３（背景画像プレーン）には、原稿画像６０のうち選択データＳＥＬが「０」である領域のデータが選択される。従って、図６の例では、第２画像データＤＴ２のプレーン６３「日本地図」の図形が選択される。
【００３２】
属性分離の結果得られた図６（ｂ）の３つのプレーンを、そのままＭＲＣの３つの画像データプレーンとしてもよいが、データ圧縮効率を考えると、文字色プレーンや背景画像プレーンには改善の余地がある。図６（ｃ）に、圧縮効率がより良好な画像データプレーンの組を示す。この例では、選択プレーン６６は図６（ｂ）の例と同じものを用いるが、文字色プレーン６４及び背景画像プレーン６７については、画像パターンの単純化を図る。
【００３３】
すなわち、文字・線画部分の形状は選択プレーン６６に表現されているので、文字色プレーンは６４、その文字・線画部分の色の情報を持っていればよく、形状の情報まで持っている必要はない。このため、図６（ｂ）に示した文字色のプレーン６１の代わりに、各文字を包摂する領域を当該文字の色のパッチ６５で表した文字プレーン６４を用いれば、元の原稿画像６４の文字部分を再現できる。データ圧縮効率の観点から、パッチ６５としては、単純な形状のものを用いることが好適である。図６（ｃ）の例では、文字色のパッチ６５として、各辺が主走査方向及び副走査方向に平行でかつ各文字に外接する矩形領域を用いている。文字色プレーンとして、単純な形状のパッチ６５からなるプレーン６４を用いることで、文字形状そのものを含んでいたプレーン６１よりもエッジ情報が大幅に少なくなるため、ＩＴＵ−Ｔ勧告Ｔ．８１に示されたＪＰＥＧ方式で高能率にデータ圧縮することが可能となる。
【００３４】
また、背景画像のプレーン６７については、次のような改善が可能である。すなわち、マルチプレクサ２２の背景画像ＤＴ２の出力では、原稿画像６０の文字・線画部分の領域内は０値となっており、有意な画像データは残っていないので、その領域内に対し、その周辺の画像データに基づいた穴埋め処理を施して平坦化する。すなわち、その領域内の各画素をその領域の周囲の画素の値に置き換えていく。これにより、ＪＰＥＧ方式で圧縮率を低下させる要因となる文字の外形部エッジが緩やかになることから高能率にデータ圧縮することが可能となる。このようにして、図６（ｃ）に示すような多層の画像データプレーンが生成される。
【００３５】
次に、第１の属性分離部４と第２の属性分離部５のそれぞれについて、文字形状抽出部２１の処理内容を説明する。
【００３６】
図４は、第１の属性分離部４の文字形状抽出部２１で実行される、画像データの「黒色」部分を文字・線画部分として抽出する簡単な属性分離アルゴリズムを説明するフローチャートである。この処理では、画像データは、例えばラスタ走査順などの所定順序に従って逐次処理されていく。この順序に従って１画素のデータが入力されるごとに、先ず輝度成分Ｌ＊と所定の閾値τ１との比較を行う（Ｓ４１）。ここでは黒色に近い低輝度の画素を文字・線画部分として検出することから、閾値τ１としては小さい所定の値を予め設定しておく。もし当該画素の輝度信号Ｌ＊がτ１よりも大きい値の時は黒色でない、即ち文字・線画の一部ではないと判定し、当該画素に対する選択データＳＥＬを「０」とする（Ｓ４２）。一方、当該画素の輝度信号Ｌ＊がτ１以下の場合には、色差成分ａ＊，ｂ＊の大きさから黒色かどうかを判定する。色差成分は負の値を取り得ることから、ここではそれぞれの二乗和を求めて所定の閾値τ２との比較を行う（Ｓ４３）。黒色に近い色は色差成分の大きさが小さいことから、この閾値τ２としては比較的小さな所定の値を予め設定する。色差成分ａ＊，ｂ＊の二乗和がτ２よりも小さい値であれば、黒色に近い色、即ち文字・線画の一部であると判定し、当該画素に対する選択データを「１」とする（Ｓ４４）。色差成分の二乗和がτ２以上の時は黒色ではない、即ち文字・線画の一部でないと判定し、当該画素に対する選択データを「０」とする（Ｓ４２）。この処理を全ての画像データに対して繰り返し行う（Ｓ４５）。以上の処理により、画像データ中の黒色に近い部分が２値の「１」を示す選択データＳＥＬを得ることができる。
【００３７】
以上の説明からも明らかなように、第１の属性分離部４で実行される本アルゴリズムは、簡単な処理なので、ＡＳＩＣ化等によるハードウェア実装が容易であると共に、ソフトウェアで実装する場合でも高速処理が可能である。
【００３８】
次に第２の属性分離部５で実行される、第１の属性分離部４よりも複雑なアルゴリズムの一例について、図５を参照しつつ説明する。
【００３９】
まず、処理対象のＬ＊ａ＊ｂ＊画像データのＬ＊，ａ＊，ｂ＊各成分毎に、当該成分の画像データを所定の大きさ（例えば８×８画素）のブロック毎にブロック化し（Ｓ５１）、当該ブロック内の各画素の当該成分の画素値のヒストグラムを求める。そして、その中での最大画素値Ｍａｘと最小画素値Ｍｉｎの差分を求め、この差分が所定の第１閾値ＴＨ１より大きいかどうかを調べ、更にそのブロック内の画素値の分散値σを求め、この分散値σが所定の第２閾値ＴＨ２より大きいかどうかを調べる（Ｓ５２）。画素値の差分と分散値が、共に、対応する閾値ＴＨ１，ＴＨ２より大きいと判定された場合、当該ブロックは画素値変化が急峻な部分を含んでいるということなので、文字・線画部分を含んだブロック（文字・線画ブロックと呼ぶ）と判定し、ステップＳ５３に進む。ステップＳ５２で、差分値または分散値のいずれか一方でもしきい値以下である場合は、当該ブロックが文字・線画ブロックでないと判定し、当該ブロック内の各画素についての選択データを全て「０」とする（Ｓ５７）。なお、ここで求めた選択データの値は、最終結果ではなく、後に他の成分についての処理で求めた選択データの値と総合して、最終的な各画素の選択データを求めることになる。
【００４０】
ステップＳ５２で文字・線画ブロックと判定されたブロックについては、当該ブロックの最大画素値Ｍａｘと最小画素値Ｍｉｎの平均値を求め、これを当該ブロックの二値化処理に関わる閾値Ｂとする（Ｓ５３）。そして当該ブロックに属する画素（ｉ，ｊ）（ｉ，ｊはブロック内での画素の縦座標、横座標を示す番号）の画素値Ｄｉｊと閾値Ｂとの比較を行い（Ｓ５４）、閾値Ｂより値が大きい画素に対しては選択データＳＥＬとして「１」を割り当て（Ｓ５６）、閾値Ｂより値が小さい画素に対しては選択データＳＥＬとして「０」を割り当てる（Ｓ５５）。この処理をブロック内の全画素について繰り返す（ＬＯＯＰ１）。これにより、当該成分についての当該ブロック内の各画素の選択データが求められる。ステップＳ５５及びＳ５６で求められる選択データも、ステップＳ５７の場合と同様、仮の値であり、後で別の成分について求めた選択データと総合される。
【００４１】
同じブロックについて、以上のステップＳ５１〜Ｓ５６の処理を、Ｌ＊，ａ＊　，ｂ＊の各成分について繰り返す（ＬＯＯＰ２）。これにより、それら各成分ごとに、当該ブロック内の各画素の選択データの値（「０」又は「１」）が得られる。そのブロック内の画素毎に、これら３つの成分の選択データの値の論理和を求め、これを当該画素の最終的な選択データとして出力する（Ｓ５８）。
【００４２】
以上が１ブロック分の処理である。この１ブロック分の処理を、１ページ分の画像データ全てを処理するまで繰り返す（ＬＯＯＰ３）。これにより１ページ全体についての属性分離が完了する。
【００４３】
以上の説明では、画像データの輝度信号Ｌ＊、色差信号ａ＊，ｂ＊のそれぞれについての統計分析結果をすべて用いて最終の属性分離結果を判定していたが、これは必須ではない。例えば、輝度信号Ｌ＊の統計分析結果だけに基づいて最終的な属性分離結果を求める構成でも、良好な結果が得られる。
【００４４】
文字形状抽出部２１の処理としては、この他にも例えば、画像データの空間周波数分布を直交変換処理などにより求め、この結果を基に文字・線画部分の形状を抽出するような処理を用いることもできる。
【００４５】
以上、図１に例示した第１の属性分離部４と第２の属性分離部５で行われる属性分離アルゴリズムの一例をそれぞれ説明した。図１の構成では、領域指定部２での領域指定に応じ、第１の属性分離部４と第２の属性分離部５から、それぞれ、当該属性分離部（４又は５）に振り分けられた領域についての属性分離結果のデータ（すなわち選択データ、文字色データ、背景画像データの３つ）が出力される。この構成では、各属性分離部４及び５の各々から、属性分離結果である３つの出力データがそれぞれ出力されることになるが、入力される画像データは、切り替え部３の振り分けにより、同じ画素については一方の属性分離部４又は５にしか入力されないので、これら両属性分離部４及び５の出力を時系列順に統合することができ、これにより入力画像全体についての属性分離結果の３プレーンのデータを得ることができる。
【００４６】
以上説明した実施の形態によれば、画像中で属性分離がしやすい領域は比較的簡単な処理で高速に属性分離を行い、属性分離が困難な領域については高度な分離処理を適用することで、例えば自然画像上に配置された文字を分離するなどの高度な属性分離を行うことができる。本実施形態によれば、属性分離処理をソフトウェア的に実現する場合に、全体としての処理速度を大きく低下させることなく、高度な属性分離を実現することができる。
【００４７】
次に、本発明に係る装置の別の構成について図７を参照して説明する。
【００４８】
この構成において、画像データ入力部７１は、文字・線画と絵柄が混在した画像データを画像処理装置の内部に取り込むブロックであり、図１の構成の入力部１に対応する。領域指定部７２は、画像データ入力部７１が取り込む画像データ上の任意の位置に閉領域を指定するブロックであり、図１の構成の領域指定部２に対応する。オペレータは図示しないディスプレイなどを参照しながら、文字・線画と絵柄が複雑に重畳している部分を囲むよう、領域指定部７２より閉領域を指定する。領域指定部７２が後段の第１および第２の文字形状抽出部７３，７４へ出力する領域情報信号は、閉領域の内部を示すときに「１」に、閉領域の外部を示すときに「０」になるものとする。
【００４９】
第１の文字形状抽出部７３は、例えば図４を参照して説明した、分離性能はそれほど高くないが処理速度が速い属性分離アルゴリズムを実行することができるブロックである。第２の文字形状抽出部７４は、例えば図５を参照して説明した、処理速度はそれほど速くないが分離性能が高い属性分離アルゴリズムを実行することができるブロックである。それぞれの文字形状抽出部７３，７４は、領域指定部７２が出力する領域情報信号の論理レベルによって動作を制御されており、領域情報信号が「０」を示す位置、即ちオペレータにより指定された閉領域の外側、では処理速度が速い第１の文字形状抽出部７３のみ動作可能となる。また、領域情報信号が「１」を示す位置、即ち閉領域の内側、では分離性能が高い第２の文字形状抽出部７４のみ動作可能となる。
【００５０】
図４および図５の説明からも明らかなように、第１および第２の文字形状抽出部の出力は文字・線画に分類される画素に対して「１」を示し、文字・線画に属さない絵柄などの背景に分類される画素に対して「０」を示すので、それぞれの文字形状抽出部が出力する選択データに対して論理和を演算することにより、画像全体に対する１つの選択データを求めることができる。論理和回路７５は、第１の文字形状抽出部７３が出力する選択データＳＥＬ１と第２の文字形状抽出部７４が出力する選択データＳＥＬ２の論理和演算を行って、最終的な選択データを求めるブロックである。
【００５１】
マルチプレクサ７６は、入力Ｌ＊ａ＊ｂ＊画像データを選択データが「１」を示した時は文字色データとして出力すると同時に、背景画像データとして所定値の画像データ、例えばＬ＊＝ａ＊＝ｂ＊＝０を出力する。また、選択データが「０」を示した時は、マルチプレクサ７６は入力画像データを背景画像データとして出力すると同時に、文字色データとして所定値の画像データ、例えばＬ＊＝ａ＊＝ｂ＊＝０を出力する。ＩＴＵ−Ｔ勧告Ｔ．４４に従えば、以上説明した選択データがマスクレイヤに、文字色データがフォアグラウンドレイヤに、そして背景画像データがバックグラウンドレイヤにそれぞれ対応する。
【００５２】
以上説明したように、図７の構成でも、図１を用いて説明した上記実施形態と同等の属性分離結果を得ることができる。図７の構成では、マルチプレクサ部７６が１つで済む。
【００５３】
次に、本発明に係る装置の更なる別の構成について図８及び９を参照して説明する。
【００５４】
ＩＴＵ−Ｔ勧告Ｔ．４４では、その付属書Ａにおいて、３層以上に拡張されたＭＲＣに関する記載がある。これによると、３層以上のＭＲＣは、一番下のレイヤをレイヤ１として、上に昇順にレイヤ２、レイヤ３、…、レイヤＮが重ね合わされる。この多層構造では、奇数番号のレイヤを多値画像データからなるイメージレイヤとし、偶数番号のレイヤを二値の選択データからなるマスクレイヤと称している。イメージレイヤとマスクレイヤの重ね合わせルールは、図８に示すように、一番下にイメージレイヤがバックグラウンド（背景）として配置され、その上にマスクレイヤとイメージレイヤとが対になって重ね合わされることとなっている。この規則に従うと、上述の実施形態で説明した２つの異なる属性分離アルゴリズムでの属性分離結果を、３層以上のＭＲＣとして扱うことができる。この装置構成例を図９に示す。
【００５５】
図９において、画像データ入力部９１は、文字・線画と絵柄が混在した画像データを画像処理装置の内部に取り込むブロックであり、図１の入力部１に対応する。領域指定部９２は、画像データ入力部９１が取り込む画像データ上の任意の位置に閉領域を指定するブロックであり、図１の領域指定部２に対応する。これまでの説明と同様に、オペレータは図示しないディスプレイなどを参照しながら、文字・線画と絵柄が複雑に重畳している部分を囲むよう、領域指定部９２より閉領域を指定する。領域指定部９２が出力する領域情報信号は、閉領域の内部を示すときに「１」に、閉領域の外部を示すときに「０」になるものとする。
【００５６】
第１の属性分離部９３は、図４で説明されるような分離性能はそれほど高くないが処理速度が速い属性分離アルゴリズムを実行可能なブロックである。ただし、この例での第１の属性分離部９３は、上述の実施形態とは異なり、領域指定部９２の領域情報信号によらず、入力される画像データを全て属性分離処理していく。
【００５７】
第２の属性分離部９４は、図５で説明されるような処理速度はそれほど速くないが分離性能が高い属性分離アルゴリズムを実行可能なブロックであって、領域情報信号が閉領域の内部を示す「１」のときのみ属性分離処理を行う。
【００５８】
ここで、第２の属性分離部９４が出力する属性分離結果は、領域情報信号が「１」のときに有効となることから、領域情報信号を第２のマスクレイヤ（マスク２）とすることにより、この第２マスクレイヤの論理が「１」の時は第２マスクレイヤより上のレイヤに含まれる画像データが有効となって、第２の属性分離部９４による属性分離結果をその上に重ね合わせることができる。
【００５９】
なお、この構成では、領域指定部９２で指定された閉領域に含まれる画像データの属性分離結果が、第１および第２の属性分離部９３及び９４から出力されることになるが、ここで第１の属性分離部９３の出力には結果的に上書きされる部分に無駄な画像データが含まれることになる。属性分離した結果を属性毎に最適な方法、具体的には第１バックグラウンドレイヤ（バックグラウンド１。背景画像データ）や第１フォアグラウンドレイヤ（フォアグラウンド１。前景画像データもしくは文字色データ）は、多値画像であることからＩＴＵ−Ｔ勧告Ｔ．８１に示されたＪＰＥＧ方式で圧縮し、第１マスクレイヤ（選択データ）は二値画像であることからＩＴＵ−Ｔ勧告Ｔ．４に示されたＭＨ／ＭＲ方式や、Ｔ．６に示されたＭＭＲ方式、Ｔ．８５に示されたＪＢＩＧ方式などで圧縮する場合、無駄なデータが残っていることは圧縮率を稼げない方向に作用するので望ましくない場合がある。このような場合は、必要に応じて第１の属性分離部９３の属性分離結果の内、領域指定部９２で指定された領域に含まれている部分の分離結果を削除して所定の初期値に置き換える処理機構を追加してもよい。
【００６０】
次に、パーソナルコンピュータを使用した本発明の別の実施例を図１０により説明する。
【００６１】
文字・線画と絵柄が混在した画像データを取り込む手段としてのスキャナ１０１は、プラテンガラス上に置かれた原稿を蛍光灯ランプなどで照射し、反射光をＣＣＤなどの撮像デバイスを用いて光学的に読み取り、読み取り信号のオフセット調整、ゲイン調整を行った後にアナログ画像データをディジタル画像データに変換する画像読取部１０２を内部に備えている。画像読取部１０２が出力する信号は、スキャナ１０１内部の属性分離部１０３に入力される。属性分離部１０３は、上述の実施形態と同様、入力画像データを文字色データプレーン、背景画像データプレーン、及び選択データプレーンに分離し、それら３つのプレーンからなる多層画像データプレーンとしてスキャナ１０１から外部へ出力する機能を備える。ここで、属性分離部１０３が実行する属性分離処理は、スキャナの原稿走査時間に対してほぼリアルタイムで処理が可能な高速な処理方式が望ましい。以下の説明では、属性分離部１０３は、図４で説明した高速処理可能な属性分離アルゴリズムを実行可能なものとする。なお、スキャナ１０１内の読み取った原稿画像を一次記憶するバッファ手段を設ければ、属性分離部１０３として、原稿走査時間に対してリアルタイム処理ができないものを用いることもできる。
【００６２】
スキャナ１０１は、パーソナルコンピュータ１０５とネットワークケーブル１０４を介して接続されており、このネットワークケーブル１０４を経由して、スキャナ１０１の動作を制御する信号やスキャナ１０１の内部状態を示す信号などをパーソナルコンピュータ１０５とやり取りしたり、スキャナ１０１が出力する属性分離された画像データプレーンをパーソナルコンピュータ１０５内部に取り込んだりすることができる。
【００６３】
パーソナルコンピュータ１０５は、ＣＤ−ＲＯＭ１０６もしくはフレキシブルディスク１０７などの可搬記憶メディアを着脱可能なディスクドライブを有し、当該可搬記憶メディアに記憶されたソフトウェアプログラムをディスクドライブ経由でパーソナルコンピュータ１０５本体の内蔵メモリに読込むことができる。
【００６４】
図１１は、パーソナルコンピュータを説明する図である。パーソナルコンピュータ１０５は、ディスプレイ１１１、キーボード１１２、ポインティングデバイスとしてのマウス１１３を備えている。ディスプレイ１１１に処理対象の画像を表示し、マウス１１３の操作により、高度な方の属性分離処理の対象となる領域を指定することができる。これが、上述の実施形態での領域指定部の機能を果たす。
【００６５】
ディスプレイ１１１には、スキャナ１０１が出力する多層画像データプレーンに基づいて、スキャナ１０１が読み取った元の画像データに対応する表示画像１１５や、選択データプレーンに対応する表示画像１１７、背景画像データプレーンに対応する表示画像１１８などが表示される。元の画像に対応する表示画像の代わりに前景画像データプレーンに対応する画像を表示してもよいし、背景画像データプレーンに対応する表示画像１１８を表示しなくてもよい。
【００６６】
図１１では、背景画像データプレーンに対応する表示画像１１８の中に文字（ただし黒色文字ではない）と絵柄が重畳した部分が混在しており、選択データプレーンに対応する表示画像１１７の中には当該部分の文字が抽出されていないことを例示している。このように属性分離部１０３の分離処理で分離できていない文字・線画部分を分離するために、本実施形態では、分離できなかった部分をパーソナルコンピュータで実行する、より分離精度の高い属性分離アルゴリズムで再度分離処理する。この再分離処理のため、オペレータは、対象とする閉領域を、ディスプレイ１１１上に表示した元の画像データの表示画像１１５を参照して指定する。ディスプレイ１１１を参照して所望の閉領域を指定する方法としては、オペレータがマウス１１３を操作し、例えば属性分離結果を修正したい領域１１６の開始点（矩形領域の左上点）にマウスポインタ１１４を合わせてマウス１１３の左ボタンを押下し、そのまま領域１１６の終了点（矩形領域の右下点）までマウス１１３を操作してマウスポインタ１１４をドラッグするなどの操作方法が可能である。なお、この領域指定操作はあくまで一例であり、これ以外の操作による領域指定が可能であることは明らかであろう。
【００６７】
図１０に示した画像処理装置の動作について、図１２のフローチャートを参照しつつ説明する。オペレータは先ず最初に、文字・線画部分と絵柄部分を属性分離してその結果を保存したい原稿をスキャナ１０１のプラテン上にセットする（Ｓ１２０１）。次いでオペレータはパーソナルコンピュータ１０５よりスキャナ１０３に対して走査開始命令を発行しスキャナを起動させる（Ｓ１２０２）。この走査開始命令に応じ、スキャナ１０１はプラテン上の原稿を光学的に走査することで当該原稿に対応するディジタル画像データを生成し、属性分離部１０３に入力する。ここで、必要に応じて、属性分離部１０３に入力する画像データに対し、該分離部１０３での属性分離処理に適した色空間への変換を行う。属性分離部１０３では、入力される画像データに対して、例えば図４に示すアルゴリズムにより原稿に含まれる黒文字部分を検出することで第１の属性分離を行い、この分離結果に基づき、文字色データプレーン、背景画像データプレーン、選択データプレーンからなる第１の多層画像データを生成する（Ｓ１２０４）。パーソナルコンピュータ１０５は、スキャナ１０１における第１の属性分離処理を特に制御する必要はないので、スキャナ１０１での属性分離処理が終了するのを監視する（Ｓ１２０３）。スキャナ１０１で属性分離処理が終了したことを検知すると、スキャナ１０１より第１の多層画像データをネットワークケーブル１０４を経由してパーソナルコンピュータ１０５内部に取り込む（Ｓ１２０５）。
【００６８】
パーソナルコンピュータ１０５は、スキャナ１０１での属性分離の結果をオペレータに確認させるために、取り込んだ第１の多層画像データをもとに、ディスプレイ１１１に表示する表示画像１１５，１１７，１１８等を生成する（Ｓ１２０６）。ここで、もとの原稿画像を示す表示画像１１５は、第１の多層画像データの選択データの論理に従って文字色データプレーンと背景画像データプレーンとを合成することで生成できる。なお、多層画像データプレーンの各プレーンをそのまま表示することも可能であり、その場合は合成処理を実施する必要はない。
【００６９】
次に、分離結果をディスプレイに表示するために、第１の多層画像データの選択データプレーンと背景画像データプレーン、および合成された第１の多層画像データの解像度をディスプレイ解像度に適合するように解像度変換処理を行う（Ｓ１２０７）。解像度変換された各画像は、図１１に例示したように、第１の分離結果としてディスプレイ上に表示される（Ｓ１２０８）。
【００７０】
オペレータはディスプレイ上に表示された第１の分離結果を参照し、分離結果を修正したり、さらに精度よく属性分離を施したい部分を閉領域として指定する（Ｓ１２０９）。このとき、複数の閉領域を指定することもできる。パーソナルコンピュータ１０５は、合成された画像データ（原稿を読み取ったときの画像データに対応）のうち、このようにして指定された閉領域内の画像データのみを切り出す（Ｓ１２１０）。そしてパーソナルコンピュータ１０５は、切り出した閉領域内の画像データに対し、図５に示すフローチャートに従って画像の局所的性質に基づく第２の属性分離処理を実行し（Ｓ１２１１）、当該属性分離結果に基づいて第２の多層画像データを生成する（Ｓ１２１２）。図７で説明したように、第２の多層画像データに含まれる選択データは、第１の多層画像データに含まれる選択データと合成することができるので、２種類の属性分離アルゴリズムから生成されたこれら２つの選択データを１つの選択データへと合成する（Ｓ１２１３）。次に、ステップＳ１２０６で生成した合成多層画像データを、この合成された選択データを使用して属性分離し、背景画像データプレーンと文字色データプレーンを生成する（Ｓ１２１４）。この分離結果を第２分離結果と呼ぶ。第２分離結果が作成されると、その結果の良否をオペレータに判断させるために、この第２分離結果に対して解像度変換を必要に応じて施した上でディスプレイに表示する（Ｓ１２１５）。
【００７１】
オペレータはその結果を見て所望の属性分離処理が行えたかどうかを判断し（Ｓ１２１６）、結果が満足できない場合はステップＳ１２０９に戻り再度領域の指定から作業を繰り返す。結果が満足されるものであれば、第２分離結果を最終的な属性分離結果として保存する（Ｓ１２１７）。
【００７２】
なお、第２分離結果の良否の確認は、選択データプレーンの表示だけでもかなりの程度可能なので、ステップＳ１２１５では選択データプレーンのみを表示するだけでもよい。この場合、ステップＳ１２１４の段階で属性分離を行う必要はなく、ステップＳ１２１３で合成した選択データが良好であると判断した後で属性分離を行えばよい。
【００７３】
以上、本発明の好適な実施形態を説明した。以上の実施形態では、異なる２種類の属性分離処理方式を適宜割り振って属性分離処理を行う場合について説明を行ってきたが、属性分離処理方式の種類が３以上の場合であっても本発明は適用可能である。この場合、オペレータは、領域毎にどの属性分離処理を割り当てるかを別途指定すればよい。
【００７４】
以上説明した図１，図７，図９等の各装置構成は、ソフトウェアで実現することもできるし、ハードウェア回路で構成することもできる。また以上では、処理能力が異なる複数の属性分離方式として、図４及び図７に示したものを例示したが、これに限らず様々な方式を採用することができる。
【００７５】
以上説明してきたように、本実施形態によれば、属性分離を施したい画像データに対して閉領域を指定し、閉領域毎に、例えば分離性能はそれほど高くはないが処理速度が速い属性分離処理方法や、処理速度は遅いが分離性能が高い属性分離処理方法を割り当てることができるため、画像全体の処理速度の低下を抑えつつ精度の高い属性分離処理を実行することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の概略の構成を示す図である。
【図２】属性分離部の構成を示す図である。
【図３】文字・線画部分と絵柄部分が混在する画像データの一例を示す図である。
【図４】簡単な属性分離アルゴリズムを説明するフローチャートである。
【図５】複雑な属性分離アルゴリズムを説明するフローチャートである。
【図６】文字・線画部分の形状を抽出するアルゴリズムを適用して属性分離を行った結果を説明する図である。
【図７】本発明に係る画像処理装置の別の実施例を説明する図である。
【図８】３層以上のＭＲＣを説明する図である。
【図９】３層以上のＭＲＣを生成することができる本発明の別の態様を説明する図である。
【図１０】本発明の別の実施態様を説明する図である。
【図１１】パーソナルコンピュータを説明する図である。
【図１２】パーソナルコンピュータを用いた構成における処理手順の例を示すフローチャートである。
【符号の説明】
１　画像データ入力部、２　領域指定部、３　切り替え部、４　第１の属性分離部、５　第２の属性分離部。
【図１】
2004032554.tif 000003
【図２】
2004032554.tif 000004
【図３】
2004032554.tif 000005
【図４】
2004032554.tif 000006
【図５】
2004032554.tif 000007
【図６】
2004032554.tif 000008
【図７】
2004032554.tif 000009
【図８】
2004032554.tif 000010
【図９】
2004032554.tif 000011
【図１０】
2004032554.tif 000012
【図１１】
2004032554.tif 000013
【図１２】
2004032554.tif 000014