(57)【要約】      （修正有）【課題】多値画像から精度良くハーフトーン領域を抽出可能な領域分割処理を実現する。【解決手段】多値画像を二値化して、二値画像を生成する。多値画像中のエッジ成分を抽出して、エッジ画像を生成する。二値画像を複数の異なる属性の領域に分割する。エッジ画像からハーフトーン領域の輪郭候補を抽出する。輪郭候補の情報と領域分割結果情報とに基づいて、第２の領域分割結果を出力する。【選択図】  図２
2006246435.tif 000002
【特許請求の範囲】
【請求項１】
多値画像を複数の異なる属性の領域に分割する画像処理装置であって、
多値画像を入力する入力手段と、
前記多値画像を二値化することにより、二値画像を生成する二値画像生成手段と、
前記多値画像中のエッジ成分を抽出して、エッジ画像を生成するエッジ画像生成手段と、
前記二値画像を複数の異なる属性の領域に分割する領域分割手段と、
前記エッジ画像からハーフトーン領域の輪郭候補を抽出する輪郭抽出手段と、
前記輪郭抽出手段で得られた輪郭候補の情報と、前記領域分割手段で得られた領域分割結果情報とに基づいて、第２の領域分割結果を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記領域分割手段で得られた領域分割結果情報に従って、前記エッジ画像中の文字領域に相当する部分の画素を、該エッジ画像上で消去する消去手段を、更に備え、
前記輪郭抽出手段は、前記消去手段による消去後のエッジ画像から前記ハーフトーン領域の輪郭候補を抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記二値画像生成手段及び前記エッジ画像生成手段は、それぞれ処理対象の画像に縮小処理を実行する縮小処理手段
を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記輪郭抽出手段は、
前記エッジ画像から黒画素塊を抽出する抽出手段と、
前記抽出手段で抽出した黒画素塊の形状に基づいて、該黒画素塊を前記ハーフトーン領域の輪郭候補に決定する決定手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記エッジ画像生成手段は、
前記多値画像に縮小処理を実行して、縮小画像を生成する縮小処理手段と、
前記縮小画像中の各画素におけるエッジ強度を算出し、当該エッジ強度に基づいて前記各画素を量子化することにより、前記エッジ画像を生成する生成手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記輪郭抽出手段は、前記量子化により生成されたエッジ画像から、前記ハーフトーン領域の輪郭候補を抽出する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
多値画像を複数の異なる属性の領域に分割する画像処理装置の制御方法であって、
多値画像を入力する入力工程と、
前記多値画像を二値化することにより、二値画像を生成する二値画像生成工程と、
前記多値画像中のエッジ成分を抽出して、エッジ画像を生成するエッジ画像生成工程と、
前記二値画像を複数の異なる属性の領域に分割する領域分割工程と、
前記エッジ画像からハーフトーン領域の輪郭候補を抽出する輪郭抽出工程と、
前記輪郭抽出工程で得られた輪郭候補の情報と、前記領域分割工程で得られた領域分割結果情報とに基づいて、第２の領域分割結果を出力する出力工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項８】
多値画像を複数の異なる属性の領域に分割する画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
多値画像を入力する入力工程と、
前記多値画像を二値化することにより、二値画像を生成する二値画像生成工程と、
前記多値画像中のエッジ成分を抽出して、エッジ画像を生成するエッジ画像生成工程と、
前記二値画像を複数の異なる属性の領域に分割する領域分割工程と、
前記エッジ画像からハーフトーン領域の輪郭候補を抽出する輪郭抽出工程と、
前記輪郭抽出工程で得られた輪郭候補の情報と、前記領域分割工程で得られた領域分割結果情報とに基づいて、第２の領域分割結果を出力する出力工程と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多値画像を複数の異なる属性の領域に分割する画像処理装置及びその制御方法、プログラムに関するものである。
【背景技術】
【０００２】
近年、情報の電子化が進み、文書を紙ではなく電子化して保存あるいは送信するという需要が高まっている。特に、蓄積メディアの低価格化、および通信帯域の増大により、電子化の対象となる文書は、白黒２値のみのものから、フルカラーの文書へとその対象を広げつつある。
【０００３】
ここでいう文書の電子化とは、単に紙文書をスキャナ等の画像入力装置により光電変換し、画像データ化することのみにとどまらない。この電子化には、その画像データの内容を認識して、紙文書を構成するテキスト、記号、図、写真、表等の、それぞれ性質の異なる領域に分割することも含まれる。更には、文字部は文字コード情報、図はベクトルデータ、写真は画像データ、表は構造データ、といったように各々最も適した形でデータ化することも含まれる。
【０００４】
このような文書の電子化処理の第１段階として行われるのが、１頁の文書画像中の内容を分析し、文字や図、写真、表など異なる性質の部分要素に分割する処理、即ち、領域分割処理である。
【０００５】
この領域分割処理の実現例としては、例えば、特許文献１がある。この特許文献１では、文書画像中の黒画素の８連結輪郭塊、白画素の４連結輪郭塊の集合を抽出し、その形状、大きさ、集合状態などから、文字、絵や図、表、枠、線等の文書中の特徴的な領域を抽出している。
【特許文献１】米国特許公報第５６８０４７８号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の領域分割処理は、その動作原理より、入力となる文書画像が白黒二値であることが前提となる。従って、この技術を利用してカラー文書の領域分割を行うためには、あらかじめ文書画像の二値化を行う必要があるが、この二値化によりカラー画像に含まれていた領域情報が欠落してしまうことがあるという問題があった。
【０００７】
ここで、カラー画像の二値化は、画素の輝度分布から輝度閾値を算出し、画像の各画素を、輝度閾値を境に白又は黒の画素へと変換することで行われる。例えば、この輝度閾値をページの画像全体に対しひとつ定める方法では、通常、文字部分を正確に二値化すること目的としており、写真領域のように輪郭境界の輝度差が輝度閾値を跨がないものの形状を二値画像に反映することができない。
【０００８】
一方、画像をタイル状の小領域に分割し、領域毎に異なる二値化閾値を設定する方法がある。この場合には、より小さな輝度差を反映した二値化が行えることもあるが、処理結果は、この小領域の取り方に依存するために、カラー画像内にランダムな位置、形状で存在するオブジェクトに対し、常に良好な二値化結果が得られるとは限らない。
【０００９】
その結果、写真や自然画のようなハーフトーン画像は、境界位置が二値化によって失われてしまうことがあり、この場合、それらの領域の正確な座標を認識することが困難であった。
【００１０】
また、例えば、特開２００２−３１２７９４のように、カラー画像に微分フィルタ等を用いた画像処理を施したエッジ画像を取得し、該エッジ画像と単純２値画像とを論理和合成した後に、領域分割処理を行う方法もあった。しかし、高速化や処理の安定化を目的としておこなわれる領域分割処理前の画像縮小や、フィルタ自体のぼかしの影響によって、抽出目的であるハーフトーン領域とそれ以外の領域が近接している場合、それらを分割できずに位置を誤抽出してしまう場合があった。
【００１１】
よって、カラーやグレイの多値の文書画像を入力とし、かつ高速化のための前処理として縮小処理が施された画像に対しても、精度良くハーフトーンの領域を抽出できる領域分割処理の方法が必要とされている。
【００１２】
本発明は上記の課題を解決するためになされたものであり、多値画像から精度良くハーフトーン領域を抽出可能な領域分割処理を実現することができる画像処理装置及びその制御方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
多値画像を複数の異なる属性の領域に分割する画像処理装置であって、
多値画像を入力する入力手段と、
前記多値画像を二値化することにより二値画像を生成する二値画像生成手段と、
前記多値画像中のエッジ成分を抽出して、エッジ画像を生成するエッジ画像生成手段と、
前記二値画像を複数の異なる属性の領域に分割する領域分割手段と、
前記エッジ画像からハーフトーン領域の輪郭候補を抽出する輪郭抽出手段と、
前記輪郭抽出手段で得られた輪郭候補の情報と、前記領域分割手段で得られた領域分割結果情報とに基づいて、第２の領域分割結果を出力する出力手段と
を備える。
【００１４】
また、好ましくは、前記領域分割手段で得られた領域分割結果情報に従って、前記エッジ画像中の文字領域に相当する部分の画素を、該エッジ画像上で消去する消去手段を更に備え、
前記輪郭抽出手段は、前記消去手段による消去後のエッジ画像から前記ハーフトーン領域の輪郭候補を抽出する。
【００１５】
また、好ましくは、前記二値画像生成手段及び前記エッジ画像生成手段は、それぞれ処理対象の画像に縮小処理を実行する縮小処理手段と
を更に備える。
【００１６】
また、好ましくは、前記輪郭抽出手段は、
前記エッジ画像から黒画素塊を抽出する抽出手段と、
前記抽出手段で抽出した黒画素塊の形状に基づいて、該黒画素塊を前記ハーフトーン領域の輪郭候補に決定する決定手段と
を備える。
【００１７】
また、好ましくは、前記エッジ画像生成手段は、
前記多値画像に縮小処理を実行して、縮小画像を生成する縮小処理手段と、
前記縮小画像中の各画素におけるエッジ強度を算出し、当該エッジ強度に基づいて前記各画素を量子化することにより、前記エッジ画像を生成する生成手段と、
を備える。
【００１８】
また、好ましくは、前記輪郭抽出手段は、前記量子化により生成されたエッジ画像から、前記ハーフトーン領域の輪郭候補を抽出する。
【００１９】
上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
多値画像を複数の異なる属性の領域に分割する画像処理装置の制御方法であって、
多値画像を入力する入力工程と、
前記多値画像を二値化することにより二値画像を生成する二値画像生成工程と、
前記多値画像中のエッジ成分を抽出して、エッジ画像を生成するエッジ画像生成工程と、
前記二値画像を複数の異なる属性の領域に分割する領域分割工程と、
前記エッジ画像からハーフトーン領域の輪郭候補を抽出する輪郭抽出工程と、
前記輪郭抽出工程で得られた輪郭候補の情報と、前記領域分割工程で得られた領域分割結果情報とに基づいて、第２の領域分割結果を出力する出力工程と
を備える。
【００２０】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
多値画像を複数の異なる属性の領域に分割する画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
多値画像を入力する入力工程と、
前記多値画像を二値化することにより二値画像を生成する二値画像生成工程と、
前記多値画像中のエッジ成分を抽出して、エッジ画像を生成するエッジ画像生成工程と、
前記二値画像を複数の異なる属性の領域に分割する領域分割工程と、
前記エッジ画像からハーフトーン領域の輪郭候補を抽出する輪郭抽出工程と、
前記輪郭抽出工程で得られた輪郭候補の情報と、前記領域分割工程で得られた領域分割結果情報とに基づいて、第２の領域分割結果を出力する出力工程と
を備える。
【発明の効果】
【００２１】
本発明によれば、多値画像から精度良くハーフトーン領域を抽出可能な領域分割処理を実現することができる画像処理装置及びその制御方法、プログラムを提供できる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００２３】
図１は本発明の実施形態の画像処理装置の外観構成を示す図である。
【００２４】
図１において、９０１は、コンピュータ装置であり、本発明を実現可能な画像処理プログラムを実行する。コンピュータ９０１には、ユーザに処理状況や文書画像等の画像情報を表示するためのディスプレイ装置９０２（例えば、ＣＲＴやＬＣＤ）と、ユーザの操作を受け付けるキーボード、マウス等の入力インタフェース９０３が接続されている。９０４はカラースキャナ装置であり、紙文書を光学的に読み取り電子化し、得られる画像データをコンピュータ装置９０１に送信する。
【００２５】
尚、コンピュータ装置９０１は、上記構成要素に加えて、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、メモリ（ＲＡＭやＲＯＭ）、ハードディスク、外部記憶装置、ネットワークインタフェース等）を有している。
【００２６】
特に、ハードディスクには、本発明の画像処理プログラムを含む各種プログラムが記憶され、ＣＰＵの制御によって、その処理が実行される。
【００２７】
次に、本実施形態の画像処理装置の機能構成について、図２を用いて説明する。
【００２８】
図２は本発明の実施形態の画像処理装置の機能構成を示す図である。
【００２９】
１０１は入力部であり、スキャナ装置９０４から読取原稿（例えば、紙文書）をカラー画像データとして入力する。１０２は二値画像生成部であり、カラー画像データを二値画像データに変換する。１０３は領域分割部であり、二値画像データを文字、図、表、枠、線等の複数種類の属性毎の要素（オブジェクト）に分割する。
【００３０】
１０４はエッジ画像生成部であり、カラー画像データの微分情報からエッジ成分からなるエッジ画像を抽出する。１０５は文字消去部であり、領域分割で得られる領域分割情報から文字領域の画素をエッジ画像上で消去する。１０６は輪郭抽出部であり、エッジ画像から輪郭抽出情報（輪郭データ）を抽出する。１０７は合成部であり、領域分割情報と輪郭抽出情報を合成する。１０８は出力部であり、合成部１０７の合成結果（領域分割結果）のファイル出力、画像表示等を行う。
【００３１】
次に、二値画像生成部１０２が実行する二値化処理について、図３を用いて説明する。
【００３２】
図３は本発明の実施形態の二値画像生成部が実行する二値化処理を示すフローチャートである。
【００３３】
ステップＳ２０１では、入力されたカラー画像に対し縮小処理を実行して、縮小カラー画像を生成する。この縮小処理を実行する目的は、処理対象画像の画像サイズを減らすことにより処理時間を低下させること、ノイズやゆらぎの効果をなくして安定した画像を生成すること、また、入力の多様な解像度の差を吸収して固定解像度の画像を生成することで、入力解像度に依存しない領域分割処理を実現すること等がある。
【００３４】
ここでは、例として、カラー画像として３００ｄｐｉの画像が入力されたとき、１／４の縮小処理によって、７５ｄｐｉの二値画像を生成するものとする。
【００３５】
ステップＳ２０２では、縮小カラー画像を輝度画像に変換する。ここでは、一般的に元画像のカラー形式をＲＧＢ形式、輝度画像は１画素あたり０〜２５５のグレイスケール形式とし、各画素の輝度Ｙは元画像の画素値（Ｒ，Ｇ，Ｂ）に対し、以下の式
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ  ＋  ０．１１４Ｂ  
によって算出することにする。もちろん、他の形式／変換式を用いて、輝度画像に変換してもよい。
【００３６】
ステップＳ２０３では、輝度画像のヒストグラムを作成する。ステップＳ２０４では、ヒストグラムから二値化の閾値を決定する。閾値は、ヒストグラムより文字の輝度と、背景の輝度との２つのピークを検出して、それらが最も良く分離する値として算出する。より具体的には、公知の方法に沿うとして、説明は省略する。
【００３７】
ステップＳ２０５では、輝度画像の各画素に対し、その画素値が閾値未満の画素を黒として「１」、閾値以上の画素を白として「０」を割りあてる二値化処理を実行して、二値画像を生成する。
【００３８】
尚、最初に、カラー画像に縮小処理を実行してから二値化処理を実行するのではなく、二値化処理を実行してから縮小処理を実行しても良い。
【００３９】
次に、領域分割部１０３が実行する領域分割処理について、図４を用いて説明する。
【００４０】
図４は本発明の実施形態の領域分割部が実行する領域分割処理を示すフローチャートである。
【００４１】
領域分割処理は、図３に示すように、ステップＳ３０１とステップＳ３０２の大きく二つの処理に分けられる。その最初の処理であるステップＳ３０１の画素塊抽出と分類の処理の詳細について、図５のフローチャートを用いて説明する。
【００４２】
図５は本発明の実施形態のステップＳ３０１の処理の詳細を示すフローチャートである。
【００４３】
ステップＳ４０１では、白黒画像（二値画像）からすべての黒画素の８連結輪郭塊を抽出する。黒画素の８連結輪郭塊とは、図６（ａ）のように、縦横斜めに接触した画素で作られた輪郭を持つ黒画素の集合のことである。以降、この集合を黒画素塊と呼ぶ。尚、黒画素塊の抽出には、公知の輪郭追跡法やラベリング法などを用いればよいので、説明は省略する。ステップＳ４０１で抽出した黒画素塊それぞれに対して、ステップＳ４０２以降の処理が実行される。
【００４４】
ステップＳ４０２では、抽出したすべての黒画素塊から、処理対象の黒画素塊を選択する。そして、その選択した処理対象の黒画素塊が、予め予想される最大文字高さ及び幅に対する所定閾値ｔ１未満であるか否かを判定する。所定閾値ｔ１未満である場合（ステップＳ４０２でＹＥＳ）、ステップＳ４０９に進み、その黒画素塊を、文字要素と判定し、「ＣＨＡＲ」と分類する。一方、所定閾値ｔ１以上である場合（ステップＳ４０２でＮＯ）、ステップＳ４０３に進む。
【００４５】
ステップＳ４０３では、処理対象の黒画素塊が、一定比率以上で縦長あるいは横長であるか否かを判定する。縦長あるいは横長である場合（ステップＳ４０３でＹＥＳ）、ステップＳ４１０に進み、その黒画素塊を、線要素と判定し、「ＬＩＮＥ」と分類する。一方、縦長あるいは横長でない場合（ステップＳ４０３でＮＯ）、ステップＳ４０４に進む。
【００４６】
ステップＳ４０４では、処理対象の黒画素塊中の黒画素のなす輪郭に注目し、その形状が細い斜めの線状であるか否かを判定する。斜めの線状である場合（ステップＳ４０４でＹＥＳ）、その黒画素塊を、線要素と判定し、「ＬＩＮＥ」と分類する。一方、斜めの線状でない場合（ステップＳ４０４でＮＯ）、ステップＳ４０５に進む。
【００４７】
ステップＳ４０５では、処理対象の黒画素塊の輪郭形状が四角形であるか否かを判定する。四角形である場合（ステップＳ４０５でＹＥＳ）、ステップＳ４０６に進む。一方、四角形でない場合（ステップＳ４０５でＮＯ）、ステップＳ４０８に進む。
【００４８】
ここで、四角形の黒画素塊および四角形以外の黒画素塊（非四角形黒画素塊）の例を図７（ａ）及び（ｂ）に示す。
【００４９】
ステップＳ４０６では、処理対象の黒画素塊の内部に存在する白画素の４連結輪郭塊を抽出する。白画素の４連結輪郭塊とは、図６（ｂ）のように、縦横のみに接触した画素で作られた輪郭を持つ白画素の集合のことである。以降、この集合を白画素塊と呼ぶ。
【００５０】
ステップＳ４０７では、処理対象の黒画素塊から抽出される白画素塊の形状がすべて四角形であり、かつ黒画素塊内を隙間なく埋めているか否かを判定する。つまり、白画素塊の整列状態が良好であるか否かを判定する。良好でない場合（ステップＳ４０７でＮＯ）、ステップＳ４０８に進む。一方、良好である場合（ステップＳ４０７でＹＥＳ）、ステップＳ４１３に進み、その黒画素塊を枠要素と判定し、「ＦＲＡＭＥ」と分類する。また、ステップＳ４１４で、その枠要素の内部を下地要素（内部白画素塊要素）と判定し、「ＧＲＯＵＮＤ」と分類する。
【００５１】
ここで、図８に、「ＦＲＡＭＥ」と内部白画素塊の集合の例として（ａ），（ｂ）を、それ以外の例として（ｃ）を示す。
【００５２】
ステップＳ４０７までで、何れの条件にもあてはまらない処理対象の黒画素塊に対しては、ステップＳ４０８では、その幅あるいは高さが所定閾値ｔ２以上であるか否かを判定する。所定閾値ｔ２以上である場合（ステップＳ４０８でＹＥＳ）、その黒画素塊を絵要素と判定し、「ＰＩＣＴＵＲＥ」と分類する。一方、所定閾値ｔ２未満である場合（ステップＳ４０８でＮＯ）、その黒画素塊を未知の要素と判定し、「ＵＮＫＮＯＷＮ」と分類する。「ＵＮＫＮＯＷＮ」の黒画素塊は、この時点では大きめの文字であるか、文字以外の図形あるいは図形／写真の一部であるか判断がつかない画素塊である。
【００５３】
二値画像中のすべての黒画素塊に対し、ステップＳ４０２〜ステップＳ４１２の処理による分類をおこなった後、「ＦＲＡＭＥ」の黒画素塊の内部から抽出された白画素塊に注目し、それぞれの内部から黒画素塊を抽出して、同様に、ステップＳ４０２〜４１２の処理を実行する。この内部で、「ＦＲＡＭＥ」が抽出されたときは、さらに再帰的に黒画素塊内部の要素の探索処理（再帰的内部探索処理）を行う。
【００５４】
再帰的内部探索処理に用いられた白画素塊、および便宜上、入力画像全体をひとつの白画素塊とすると、分類された黒画素塊及び白画素塊の集合は木構造（ツリー構造）をなしている。図９に入力画像と、ステップＳ３０１にて抽出された要素による木構造（ツリー構造）の例を示す。ここでは、白画素塊に対して、「ＧＲＯＵＮＤ」という分類名が与えられている。
【００５５】
次に、領域分割処理の後半となるステップＳ３０２の領域化処理の詳細について、図１０を用いて説明する。
【００５６】
図１０は本発明の実施形態のステップＳ３０２の処理の詳細を示すフローチャートである。
【００５７】
ステップＳ５０１では、「ＣＨＡＲ」画素塊に注目し、縦あるいは横に一定距離内にあるものをグループ化していく。このグループを囲む矩形を各々文字領域（ＴＥＸＴ）に設定する。さらに、文字領域内で文字列が横方向であるか縦方向であるかを調べる。例えば、領域内の各画素塊から左右の最近傍へ水平距離、および上下最近傍への垂直距離を算出し、それらの平均値が小さいほうが文字列の方向とすればよい。
【００５８】
ステップＳ５０２では、「ＵＮＫＮＯＷＮ」画素塊の内、同程度の大きさで縦または横に連なっている集合を検出し、これをグループ化してタイトル領域（ＴＩＴＬＥ）に設定する。
【００５９】
ステップＳ５０３では、「ＬＩＮＥ」画素塊を囲む矩形を、線領域（ＬＩＮＥ）に設定する。
【００６０】
ステップＳ５０４では、「ＰＩＣＴＵＲＥ」画素塊の内、一定以上の大きさを持ち、輪郭内の黒画素と白画素の比が大きい、即ち、黒画素密度の高いものを、写真や絵等のハーフトーン領域（ＨＡＬＦＴＯＮＥ）に設定する。さらに、このハーフトーン領域に「ＣＨＡＲ」や「ＵＮＫＮＯＷＮ」、「ＬＩＮＥ」等の画素塊が含まれたり近接していた場合は、それらを統合してすべてを囲むようなハーフトーン領域を形成する。統合された黒画素塊が、すでに他の領域に属している場合は、その画素塊を除いた形で他の領域を再構築する。
【００６１】
ステップＳ５０５では、ステップＳ５０４で残った「ＰＩＣＴＵＲＥ」画素塊を線画領域（ＬＩＮＥＡＲＴ）に設定する。
【００６２】
ステップＳ５０６では、「ＦＲＡＭＥ」画素塊を表領域（ＴＡＢＬＥ）に設定する。
【００６３】
尚、ステップＳ５０１〜ステップＳ５０６の処理は、入力画像中のすべての黒画素塊に対して実行する。また、ステップＳ５０１やステップＳ５０２、ステップＳ５０４でのグループ化は、ひとつの「ＧＲＯＵＮＤ」画素塊の内部に存在する黒画素塊同士でのみ実行する。
【００６４】
ステップＳ３０２の処理により、二値画像から複数の種類に分類された領域が得られる。ここで、図９の「ＧＲＯＵＮＤ」画素塊に対応する領域として、ＧＲＯＵＮＤ領域を設定することで、包含関係を持つ全ての領域をツリー構造によって表現することができる。
【００６５】
以上、領域分割部１０３の処理結果として、領域によるツリー構造と、各領域の持つ種類と外接矩形を含む領域分割情報が得られる。これらの領域分割情報は、例えば、メモリに記憶される。図１１に図９の入力画像に対する領域分割処理結果例を、図１２にそのツリー構造の例を示す。
【００６６】
次に、エッジ画像生成部１０４が実行するエッジ画像生成処理について、図１３を用いて説明する。
【００６７】
図１３は本発明の実施形態のエッジ画像生成部が実行するエッジ画像生成処理を示すフローチャートである。
【００６８】
ステップＳ６０１では、まず、カラー画像に対し縮小処理を実行する。この縮小処理は、二値画像生成処理と同じ理由によって実行され、その縮尺も二値画像生成処理と同等とする。
【００６９】
ステップＳ６０２では、微分フィルタによって各画素におけるエッジ強度を示す画像（エッジ強度画像）を得る（微分フィルタ変換）。これは、一般的な公知手法を用いるものとして詳細な説明は省くが、例えば、図１４に示すような５×５の一次微分フィルタを９０度ずつ回転させ、４方向の微分演算を各画素に施せばよい。もしくは、輝度変換を実行する前のカラー画像に対し、Ｒ，Ｇ，Ｂ各画素値に微分フィルタを施して、その結果をＯＲしてエッジ強度画像を得てもよい。
【００７０】
ステップＳ６０３では、エッジ強度画像に基づいて、エッジの強弱（エッジ強度）を「１」、「０」に量子化した二値化エッジ画像を作成する。以降、この画像を、単にエッジ画像と呼ぶ。
【００７１】
次に、文字消去部１０５が実行する文字消去処理について説明する。
【００７２】
文字消去部１０５では、領域分割部１０２で得られた領域分割情報に従って、画像中の文字領域に相当する部分の画素をエッジ画像上で最低レベルの画素値（例えば、０）に設定する。具体的には、文字領域とされた範囲に属する黒画素塊集合を｛Ｂｉ｝（ｉ＝１，．．．，ｎ）とすると、各Ｂｉを囲む外接矩形の範囲（ｘｉ１，ｙｉ１）−（ｘｉ２，ｙｉ２）にあるエッジ画像上の画素を０に変更する。つまり、領域分割部で文字領域と判断された領域を、エッジ画像から消去する。
【００７３】
次に、輪郭抽出部１０６が実行する輪郭抽出処理について、図１５を用いて説明する。
【００７４】
図１５は本発明の実施形態の輪郭抽出部が実行する輪郭抽出処理の詳細を示すフローチャートである。
【００７５】
ステップＳ７０１では、文字消去部で文字領域が消去されたエッジ画像から、黒画素塊を抽出する。黒画素塊の抽出は、図５のステップＳ４０１と同様に実行すれば良い。尚、ステップＳ７０２以下の処理は、抽出された黒画素塊に対して実行する。
【００７６】
ステップＳ７０２では、抽出された黒画素塊の形状を調べる。具体的には、垂直線状の辺、あるいは水平線状の辺を持つかどうかを調べる。ここで、垂直線状の辺を持つとは、黒画素塊の左端あるいは右端において一定比率以上で黒画素が同一垂直ライン上に並び、かつその長さが閾値以上である状態のことを指す。また、水平線状の辺は、黒画素塊の上端あるいは下端において、黒画素が水平ライン上に所定長さ以上並んでいる状態を指す。
【００７７】
ステップＳ７０３では、ステップＳ７０２で抽出される垂直、水平線状の辺が、黒画素塊の４辺のすべてに対応している、即ち、黒画素塊が矩形状の輪郭を明確に成しているか否かを判定する。明確に成している場合（ステップＳ７０３でＹＥＳ）、ステップＳ７０４に進み、その黒画素塊をハーフトーン輪郭候補（以下、ＨＴ輪郭候補と記す）とみなし、外接矩形座標をメモリに記憶する。一方、明確に成していない場合（ステップＳ７０３でＮＯ）、その黒画素塊に対してはハーフトーン輪郭候補でないと判断し、何もせずにステップＳ７０５に進む。
【００７８】
ステップＳ７０５で、エッジ画像内に未処理の黒画素塊が存在するか否かを判定する。未処理の黒画素塊が存在する場合（ステップＳ７０５でＹＥＳ）、ステップＳ７０１に戻り、次の黒画素塊に対して処理を実行する。一方、未処理の黒画素塊が存在しない場合、即ち、すべての黒画素塊に対して処理を実行した場合（ステップＳ７０５でＮＯ）、処理を終了する。
【００７９】
次に、合成部１０７が実行する合成処理について、図１６を用いて説明する。
【００８０】
図１６は本発明の実施形態の合成部が実行する合成処理を示すフローチャートである。
【００８１】
ステップＳ８０１では、輪郭抽出部１０６で抽出されたＨＴ輪郭候補に対し、領域分割処理で得られた領域分割情報から、ＨＴ輪郭候補を内包し、かつツリー構造内で最も深いところにあるＧＲＯＵＮＤ領域を選出する。
【００８２】
ステップＳ８０２では、ステップＳ８０１で選出されたＧＲＯＵＮＤ領域の内部にある領域から、ＨＴ輪郭候補の外接矩形と重なるものをすべて選出する。
【００８３】
ステップＳ８０３では、ステップＳ８０２で選出された領域の中で最も面積が大きいものを領域Ａとして、その種類がハーフトーン領域であるか否かを判定する。領域Ａの種類がハーフトーン領域である場合（ステップＳ８０３でＹＥＳ）、ステップＳ８０４に進む。一方、領域Ａの種類がハーフトーン領域以外である場合（ステップＳ８０３でＮＯ）、ＨＴ輪郭候補に対しては処理を実行せずに、ステップＳ８０９に進む。
【００８４】
ステップＳ８０４では、領域分割情報における領域Ａの座標情報を、ＨＴ輪郭候補の外接矩形座標で置換する。
【００８５】
ステップＳ８０５では、ステップＳ８０２で選出された領域が２個以上あるか否かを判定する。２個以上ない場合（ステップＳ８０５でＮＯ）、ステップＳ８０９に進む。一方、２個以上ある場合（ステップＳ８０５でＹＥＳ）、ステップＳ８０６に進む。
【００８６】
ステップＳ８０６では、残りの領域に対しそれぞれ、その領域とＨＴ輪郭候補との関係を調べ、ＨＴ輪郭候補に完全に内包されるか否かを判定する。完全に内包される場合（ステップＳ８０６でＹＥＳ）、ステップＳ８０７に進み、領域分割情報からその領域の情報を破棄する。
【００８７】
一方、完全に内包されない場合（ステップＳ８０６でＮＯ）、つまり、その領域がＨＴ輪郭候補に一部含まれる場合、ステップＳ８０８に進み、その領域をＨＴ輪郭候補に内包されない画素塊のみで再構成する。また、画素塊がＨＴ輪郭候補の内外にまたがる場合は画素塊をＨＴ輪郭端にて分割して、外部にある画素塊のみで領域を再構成する。
【００８８】
ステップＳ８０９にて、未処理のＨＴ輪郭候補が存在するか否かを判定する。存在する場合（ステップＳ８０９でＹＥＳ）、ステップＳ８０１に戻り、次のＨＴ輪郭候補に対して処理を実行する。一方、未処理のＨＴ輪郭候補が存在しない場合（ステップＳ８０９でＮＯ）、処理を終了する。
【００８９】
次に、例として、図１７に示すカラー画像を、本実施形態に従って処理した場合について説明する。
【００９０】
まず、入力部１０１からカラー画像が入力されると、二値画像生成部１０２は、図１８に示す二値画像を生成する。この二値画像に対し領域分割部１０３の処理を実行すると、図１９に示す領域分割結果が得られる。
【００９１】
ここで、図１７中の写真画像１７０１に注目すると、二値化の際に色の薄い部分が飛んでしまっている（図１８のように、写真画像の上半分が二値化すると白画素になっている）。従って、図１９の領域分割結果においては、その写真画像１７０１に対応する正しいハーフトーン領域が得られず、ハーフトーン領域１９０１及び１９０２が生成されてしまっている。
【００９２】
一方、カラー画像に対し、エッジ画像生成部１０４の処理を実行すると、図２０に示す二値化エッジ画像が得られる。この二値化エッジ画像の写真画像２００１に注目すると、色の薄い上方の輪郭部分もはっきりと得られている。しかしながら、縮小処理やエッジ抽出フィルタの誤差により、すぐ下方にあるテキストとの接触が起こっており、仮にこのまま、輪郭抽出部１０６の処理を実行した場合、下辺水平線の抽出が正確に行われないので、ＨＴ輪郭候補として抽出されない。
【００９３】
これに対し、本実施形態では、文字消去部１０５によって、領域分割部１０３で得られた文字領域に対応する画素を二値化エッジ画像から消去することにより、図２１に示す文字領域消去後の二値化エッジ画像を生成する。そして、この図２１に示す二値化エッジ画像に対し、輪郭抽出部１０５の処理を実行するので、写真画像２１０１のようなハーフトーン領域を、正しい矩形のＨＴ輪郭候補として抽出することができる。加えて、輪郭抽出の際の処理対象となる黒画素塊数も減少するので、輪郭抽出部１０５の処理自体をより高速に実行することができる。
【００９４】
そして、合成部１０６では、写真画像２１０１のＨＴ輪郭候補によって、図１９のハーフトーン領域１９０１の座標情報が修正（上書合成）され、同時に、ハーフトーン領域１９０２は破棄される。その結果、図２２に示すような、処理対象画像から正しいハーフトーン領域を分割可能な領域分割情報を得ることができる。
【００９５】
つまり、合成部１０６では、領域分割情報と、輪郭抽出情報が重複する領域に対しては、輪郭抽出情報が示す領域をハーフトーン領域として用いることにより、領域分割情報を修正する。
【００９６】
以上説明したように、本実施形態によれば、文字領域と写真／自然画領域が混在する多値の原画像に対し、二値化して領域分割処理を実行する。これに加えて、原画像に微分フィルタ等を施して得たエッジ画像からハーフトーン領域の輪郭を抽出して、先の領域分割処理結果を修正する。
【００９７】
特に、領域分割処理によって得られる文字領域に対応する画素をエッジ画像上で消去してから、ハーフトーン領域の輪郭を抽出する。そして、これを先の領域分割処理結果に合成するので、縮小や微分フィルタの影響による文字接触で輪郭抽出が妨害されることがなく、より正確な領域分割処理を行うことができる。しかも無駄な輪郭抽出処理を省いて高速に行うことができる。
【００９８】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００９９】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１００】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１０１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１０２】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１０３】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０４】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１０５】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１０６】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１０７】
【図１】本発明の実施形態の画像処理装置の外観構成を示す図である。
【図２】本発明の実施形態の画像処理装置の機能構成を示す図である。
【図３】本発明の実施形態の二値画像生成部が実行する二値化処理を示すフローチャートである。
【図４】本発明の実施形態の領域分割部が実行する領域分割処理を示すフローチャートである。
【図５】本発明の実施形態のステップＳ３０１の処理の詳細を示すフローチャートである。
【図６】本発明の実施形態の黒画素塊及び白画素塊の一例を示す図である。
【図７】本発明の実施形態の四角形黒画素塊及び非四角形画素塊の一例を示す図である。
【図８】本発明の実施形態の内部白画素塊の整列状態の一例を示す図である。
【図９】本発明の実施形態の黒画素塊のツリー構造の一例を示す図である。
【図１０】本発明の実施形態のステップＳ３０２の処理の詳細を示すフローチャートである。
【図１１】本発明の実施形態の領域分割結果の一例を示す図である。
【図１２】本発明の実施形態の領域のツリー構造の一例を示す図である。
【図１３】本発明の実施形態のエッジ画像生成部が実行するエッジ画像生成処理を示すフローチャートである。
【図１４】本発明の実施形態の微分フィルタの一例を示す図である。
【図１５】本発明の実施形態の輪郭抽出部が実行する輪郭抽出処理の詳細を示すフローチャートである。
【図１６】本発明の実施形態の合成部が実行する合成処理を示すフローチャートである。
【図１７】本発明の実施形態のカラー画像の一例を示す図である。
【図１８】本発明の実施形態の二値画像の一例を示す図である。
【図１９】本発明の実施形態の二値画像の領域分割結果の一例を示す図である。
【図２０】本発明の実施形態のエッジ画像の一例を示す図である。
【図２１】本発明の実施形態の文字消去後のエッジ画像の一例を示す図である。
【図２２】本発明の実施形態の最終的な領域分割結果の一例を示す図である。
【符号の説明】
【０１０８】
１０１  入力部
１０２  二値画像生成部
１０３  領域分割部
１０４  エッジ画像生成部
１０５  文字部消去部
１０６  輪郭抽出部
１０７  合成部
１０８  出力部
【図１】
2006246435.tif 000003
【図２】
2006246435.tif 000004
【図３】
2006246435.tif 000005
【図４】
2006246435.tif 000006
【図５】
2006246435.tif 000007
【図６】
2006246435.tif 000008
【図７】
2006246435.tif 000009
【図８】
2006246435.tif 000010
【図９】
2006246435.tif 000011
【図１０】
2006246435.tif 000012
【図１１】
2006246435.tif 000013
【図１２】
2006246435.tif 000014
【図１３】
2006246435.tif 000015
【図１４】
2006246435.tif 000016
【図１５】
2006246435.tif 000017
【図１６】
2006246435.tif 000018
【図１９】
2006246435.tif 000019
【図２２】
2006246435.tif 000020
【図１７】
2006246435.tif 000021
【図１８】
2006246435.tif 000022
【図２０】
2006246435.tif 000023
【図２１】
2006246435.tif 000024