(57)【要約】【課題】文書画像の文字の読みやすさ（判読性）とファイルサイズとのバランスの最適化を図る。【解決手段】この画像処理装置は、画像メモリ１２に保持された文書画像のレイアウト情報を得るレイアウト解析部１３と、レイアウト情報を用いて文書画像から前景背景分離対象領域を決定する分離対象領域決定部１４と、前景背景分離対象領域のうち、文字が含まれる領域の文字サイズを推定する文字サイズ推定部１５と、文字サイズに応じて、領域の解像度を変化させる解像度変換部１６と、解像度変換された領域および前景背景分離対象領域を元の文書画像から分離する領域分離部１７と、分離された領域から前景画像と背景画像を生成する領域画像生成部１８と、前景画像と背景画像を圧縮する画像圧縮部１９と、圧縮された前景画像および背景画像を、レイアウト情報に従って配置した文書画像を生成する画像統合部２０とを備える。【選択図】図１
2010056827.tif 000002
【特許請求の範囲】
【請求項１】
文字が記入された文書画像を保持する画像メモリと、
前記画像メモリに保持された文書画像に対してレイアウト解析を行うことで、前記文書画像を構成する要素の位置と前記要素の種別を示す属性とを含むレイアウト情報を得るレイアウト解析部と、
前記レイアウト解析部により解析されたレイアウト情報を用いて前記文書画像から分離すべき領域を決定する領域決定部と、
前記領域決定部により決定された領域のうち、前記属性から解像度変換対象の要素を含む領域を選定し、選定した領域の要素のサイズを推定するサイズ推定部と、
前記サイズ推定部により推定された要素のサイズに応じて前記領域の解像度変換を行う解像度変換部と、
前記解像度変換部により解像度変換された領域の画像を前記文書画像から分離する分離部と、
前記分離部により分離された画像に対して二値化を含む処理を行うことで、前景画像と背景画像とを生成する画像生成部と、
前記画像生成部により生成された前景画像と背景画像に対して個々に圧縮処理を行う画像圧縮部と、
前記画像圧縮部により圧縮された前景画像と背景画像を前記レイアウト情報に従って配置した文書画像を生成する画像統合部と
を具備することを特徴とする画像処理装置。
【請求項２】
前記解像度変換部は、
前記サイズ推定部により推定された要素のサイズが、予め設定された閾値よりも小さい場合に、解像度を上げる方向に前記領域の解像度を変化させることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記解像度変換部は、
前記サイズ推定部により推定された要素のサイズが、予め設定された閾値よりも大きい場合に、解像度を下げる方向に前記領域の解像度を変化させることを特徴とする請求項１記載の画像処理装置。
【請求項４】
画像処理装置に処理を実行させる画像処理プログラムにおいて、
前記画像処理装置を、
文字が記入された文書画像を保持する画像メモリと、
前記画像メモリに保持された文書画像に対してレイアウト解析を行うことで、前記文書画像を構成する要素の位置と前記要素の種別を示す属性とを含むレイアウト情報を得るレイアウト解析部と、
前記レイアウト解析部により解析されたレイアウト情報を用いて前記文書画像から分離すべき領域を決定する領域決定部と、
前記領域決定部により決定された領域のうち、前記属性から解像度変換対象の要素を含む領域を選定し、選定した領域の要素のサイズを推定するサイズ推定部と、
前記サイズ推定部により推定された要素のサイズに応じて前記領域の解像度変換を行う解像度変換部と、
前記解像度変換部により解像度変換された領域の画像を前記文書画像から分離する分離部と、
前記分離部により分離された画像に対して二値化を含む処理を行うことで、前景画像と背景画像とを生成する画像生成部と、
前記画像生成部により生成された前景画像と背景画像に対して個々に圧縮処理を行う画像圧縮部と、
前記画像圧縮部により圧縮された前景画像と背景画像を前記レイアウト情報に従って配置した文書画像を生成する画像統合部
として機能させることを特徴とする画像処理プログラム。
【請求項５】
前記解像度変換部は、
前記サイズ推定部により推定された要素のサイズが、予め設定された閾値よりも小さい場合に、解像度を上げる方向に前記領域の解像度を変化させることを特徴とする請求項４記載の画像処理プログラム。
【請求項６】
前記解像度変換部は、
前記サイズ推定部により推定された要素のサイズが、予め設定された閾値よりも大きい場合に、解像度を下げる方向に前記領域の解像度を変化させることを特徴とする請求項４記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
多機能周辺装置（Multifunction Peripheral：ＭＦＰ）やカラースキャナの普及やドキュメントのカラー化により、文書画像をカラーで保存する機会が高まっている。カラーの画像はファイルサイズが大きくなりがちであるため、画像は圧縮されて保存される場合が多い。
【０００３】
通常、カラー画像の圧縮にはＪＰＥＧ圧縮が用いられることが多いが、文書画像には文字の輪郭による高周波成分が多く含まれるためにＪＰＥＧ圧縮での圧縮効率が悪く、圧縮率を上げると画質が悪くなるという問題があった。
【０００４】
そこで、文書画像から文字成分とそれ以外の成分（文字を除去した画像）をそれぞれ、前景成分、背景成分として分離し、それぞれを異なる圧縮手法で圧縮することによって高圧縮を実現する文書画像向けの圧縮手法が開発された（例えば特許文献１参照）。なお、この技術を「前景背景分離による圧縮手法」と呼ぶ。
【０００５】
この前景背景分離による圧縮手法では、文字領域の抽出を行い、文字と判断された領域に対しては、文字は少なくとも文字単位では単色であることが多いということから、高解像度のまま減色しＭＭＲ圧縮手法などで圧縮する。
【０００６】
文字領域として抽出された画素をその周囲の画素値によって補間し文字を除去した画像（背景成分）は、なめらかな画像となりＪＰＥＧ圧縮などでの圧縮効率が高まるため、ＪＰＥＧ圧縮手法などで圧縮する。
【０００７】
その際には、背景成分の解像度を下げる（画像を縮小する）ことによってさらに圧縮率を高めることも可能である。このようにして生成した背景成分上に、前景成分を重ねて表示することで、元の画像と見た目がほとんど変らない画像を小さいファイルサイズの画像に変換することができる。
【特許文献１】特許第２６１１０１２号
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前景背景分離による圧縮手法による画像圧縮を行う際に、文字のサイズが非常に小さい、あるいは入力画像の解像度が比較的低い文字領域では、前景成分を減色する際に文字形状がつぶれてしまい、文字の読みやすさが損なわれる、あるいは読めなくなるなどといった画質劣化問題が生じる一方、大きい文字を小さい文字と同等に高解像にすることはオーバースペックまたはファイルサイズが肥大化するなどの問題も生じる。
【０００９】
本発明はこのような課題を解決するためになされたもので、文書画像の文字の読みやすさ（判読性）とファイルサイズとのバランスの最適化を図ることのできる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために本発明の画像処理装置は、文字が記入された文書画像を保持する画像メモリと、前記画像メモリに保持された文書画像に対してレイアウト解析を行うことで、前記文書画像を構成する要素の位置と前記要素の種別を示す属性とを含むレイアウト情報を得るレイアウト解析部と、前記レイアウト解析部により解析されたレイアウト情報を用いて前記文書画像から分離すべき領域を決定する領域決定部と、前記領域決定部により決定された領域のうち、前記属性から解像度変換対象の要素を含む領域を選定し、選定した領域の要素のサイズを推定するサイズ推定部と、前記サイズ推定部により推定された要素のサイズに応じて前記領域の解像度変換を行う解像度変換部と、前記解像度変換部により解像度変換された領域の画像を前記文書画像から分離する分離部と、前記分離部により分離された画像に対して二値化を含む処理を行うことで、前景画像と背景画像とを生成する画像生成部と、前記画像生成部により生成された前景画像と背景画像に対して個々に圧縮処理を行う画像圧縮部と、前記画像圧縮部により圧縮された前景画像と背景画像を前記レイアウト情報に従って配置した文書画像を生成する画像統合部とを具備することを特徴とする。
【００１１】
本発明の画像処理プログラムは、画像処理装置に処理を実行させる画像処理プログラムにおいて、前記画像処理装置を、文字が記入された文書画像を保持する画像メモリと、前記画像メモリに保持された文書画像に対してレイアウト解析を行うことで、前記文書画像を構成する要素の位置と前記要素の種別を示す属性とを含むレイアウト情報を得るレイアウト解析部と、前記レイアウト解析部により解析されたレイアウト情報を用いて前記文書画像から分離すべき領域を決定する領域決定部と、前記領域決定部により決定された領域のうち、前記属性から解像度変換対象の要素を含む領域を選定し、選定した領域の要素のサイズを推定するサイズ推定部と、前記サイズ推定部により推定された要素のサイズに応じて前記領域の解像度変換を行う解像度変換部と、前記解像度変換部により解像度変換された領域の画像を前記文書画像から分離する分離部と、前記分離部により分離された画像に対して二値化を含む処理を行うことで、前景画像と背景画像とを生成する画像生成部と、前記画像生成部により生成された前景画像と背景画像に対して個々に圧縮処理を行う画像圧縮部と、前記画像圧縮部により圧縮された前景画像と背景画像を前記レイアウト情報に従って配置した文書画像を生成する画像統合部として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、文書画像の文字の読みやすさ（判読性）とファイルサイズとのバランスの最適化を図ることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を図面を参照して詳細に説明する。図１は本発明の一つの実施形態に係る画像処理装置の構成を示すブロック図である。
【００１４】
図１に示すように、この画像処理装置は、例えばデジタルカメラ、イメージスキャナなどの画像取込装置１と、印刷装置などのプリンタ、表示装置などのモニタなどといった画像出力装置３と、これら画像取込装置１および画像出力装置３を接続したコンピュータ２（以下ＰＣ２と称す）とから構成されている。
【００１５】
画像取込装置１は、文字が記入された画像、例えば文書画像などを読み取り、ＰＣ２に入力する。つまり、画像取込装置１は、文字認識対象の帳票の表面を撮像して画像を読み取り取得する画像取得手段として機能する。
【００１６】
帳票には、所定の情報として、例えば文字などが記入されているものとし、画像取込装置１により得られる帳票の画像には、ＲＧＢなどのカラー画像、白黒画像、グレースケール画像、これらが混在するものがある。以下「記入」とは、文字などが手書きされた場合と、印刷された場合の双方の意味を含む。
【００１７】
画像情報は、デジタルカメラやイメージスキャナーなどで読み取ったものでも良く、文書ファイルからの変換によって取得したものでも良い。また他のコンピュータに蓄積されている画像情報をＬＡＮなどのネットワークを通じてＰＣ２が取得しても良い。
【００１８】
ＰＣ２は、ＣＰＵ、ＲＡＭ、ＲＯＭなどのメモリ、ハードディスク装置などの補助記憶装置、キーボードなどの入力装置およびマウスなどの指示装置、モニタなどの表示装置、イメージスキャナとのインターフェースボードなどのハードウェアを有している。
【００１９】
ＰＣ２のハードディスク装置には、オペレーティングシステム（以下ＯＳと称す）および画像処理ソフトウェアなどのプログラムが記憶されている。ＰＣ２は、自動起動またはユーザによる起動操作により、これらのプログラムがＣＰＵによってメモリに読み込まれて画像処理装置として機能するようになる。つまりＰＣ２の機能は、メモリに読み込まれたＯＳおよび画像処理ソフトウェアなどのプログラムと上記ハードウェアとが協動して実現される。
【００２０】
画像処理装置として機能するＰＣ２は、画像メモリ１２、レイアウト解析部１３、分離対象領域決定部１４、文字サイズ推定部１５、解像度変換画像生成部としての解像度変換部１６、領域分離部１７、領域画像生成部１８、画像圧縮部１９、画像出力装置３などを有している。画像メモリ１２には、画像取込装置１から入力された文書画像が保持（記憶）される。
【００２１】
レイアウト解析部１３は、画像メモリ１２から読み出した文書画像を構成する要素のレイアウト解析を行うことで、書面上における各要素の位置情報と、要素が分離対象か否かを判定するためのキャラクタ属性（文字、図形、画像、線画など）を含むレイアウト情報（文書画像のどのエリアに各要素の画素が分布しているかといった情報）とを得る。
【００２２】
ここで、レイアウト解析とは、文書画像を構成する要素を抽出することであって、文書に含まれる単位文字領域やそれらを統合して求められる文字行領域、文字列領域、さらには写真領域、図表領域、さらにはそれらの属性を求めることである。
【００２３】
例えば文字列領域の場合では、文字列領域の位置や幅、高さ、文字列領域に含まれる文字行などが属性として抽出される。また、文字行の場合では、行の位置や幅、高さ、文字行が含まれる文字列領域、文字行に含まれる単位文字領域などが属性として抽出される。
【００２４】
また、単位文字領域の場合では、文字の位置や幅、高さ、文字が含まれる文字行領域などが属性として抽出される。文書画像に対するレイアウト解析は文字認識などの分野では一般的な技術である。
【００２５】
すなわち、レイアウト解析部１３は、画像メモリに保持された文書画像に対してレイアウト解析を行うことで、文書画像を構成する要素（文字、線画、写真など）の位置と各要素の種別（文字か線画か写真かなどの）を示す属性とを含むレイアウト情報を得る。
【００２６】
分離対象領域決定部１４は、レイアウト解析部１３により解析されたレイアウト情報を用いて、文書画像から分離すべき対象の要素（前景となる文字列や背景となる線画、写真など）が存在する領域（前景背景分離対象領域）を決定する決定部として機能する。
【００２７】
すなわち、分離対象領域決定部１４は、レイアウト解析部１３により解析されたレイアウト情報を用いて、文書画像中の前景背景分離対象領域を決定する。
【００２８】
文字サイズ推定部１５は、解像度変換対象の要素（この場合、文字）の属性情報を予め有しており、分離対象領域決定部１４により決定された前景背景分離対象領域のうち、レイアウト解析結果のレイアウト情報に含まれる属性から解像度変換対象の要素（この場合、文字）を含む領域を選定し、選定した領域の要素（文字）のサイズ（何ポイントか）を推定する。ここで推定とは、領域の高さから文字の大きさ（ポイント）を計算することをいう。
【００２９】
解像度変換部１６は、文字サイズ推定部１５により推定された文字のサイズに対して、予め設定された閾値（許容範囲）との比較で文字サイズが閾値を外れた場合、文字が含まれる領域の解像度を文字サイズが閾値以内になるような値に変換する。
【００３０】
解像度変換部１６は、文字サイズが、予め設定された閾値よりも小さい場合に、解像度を上げる方向に前景背景分離対象領域の解像度を変化させる。解像度変換部１６は、文字サイズが、予め設定された閾値よりも大きい場合に、解像度を下げる方向に前景背景分離対象領域の解像度を変化させる。
【００３１】
すなわち、解像度変換部１６は、文字サイズ推定部１５により推定された文字サイズに応じて前景背景分離の解像度を変化させる。
領域分離部１７は、解像度変換部１６により文字サイズに応じて解像度変換され、許容範囲内のサイズにされた前景背景分離対象領域の画像を、文書画像から分離する処理を行う。
【００３２】
領域分離部１７は、分離した前景背景分離対象領域の画像に対して二値化を含む処理を行うことで、文書画像から前景と背景とを分離する。
【００３３】
例えば、領域分離部１７は、二値化された画像の値のうち濃度が濃い方の画素領域を前景、それ以外を背景とする。
【００３４】
前景画像の色（前景色）または背景画像の色（背景色）を推定するには、前景または背景としてそれぞれ分離した領域の画素値を、元の文書画像を参照しＲＧＢ毎の平均画素値あるいは最頻値をとるものとする。なおここで示した画像の色を推定する技術は一例であり、他の技法を用いても良い。
【００３５】
領域画像生成部１８は、領域分離部１７により分離された画像と推定前景色情報、推定背景色情報を基に前景画像と背景画像を生成する。
【００３６】
画像圧縮部１９は、領域画像生成部１８により生成された前景画像と背景画像に対して所定の圧縮処理を行う。
所定の圧縮処理とは、例えば前景画像と背景画像を同じ圧縮技術で圧縮してもよく、それぞれ別の圧縮技術で圧縮しても良い。ここでは、それぞれ別の圧縮技術で圧縮するものとする。前景画像は、例えばＭＭＲ圧縮技術で圧縮し、背景画像は、例えばＪＰＥＧ圧縮技術で圧縮する。
【００３７】
画像統合部２０は、画像圧縮部１９により圧縮された各画像（前景画像と背景画像）をレイアウト情報に従って組み合わせて統合し、元の文書画像と同じ配置にした文書画像を生成し、生成した文書画像を画像出力装置３へ出力する。
【００３８】
以下、図２乃至図１０を参照してこの画像処理装置の動作を説明する。
画像取込装置１としてのイメージスキャナが、読み取り面に配置された文書などの帳票から画像を取り込み、文字情報を含んだ電子画像データ（以下「文書画像」と称す）を生成する。
【００３９】
そして、画像取込装置１が取り込んだ文書画像は、画像取込装置１からＰＣ２に入力され（ステップＳ１０１）、画像メモリ１２に保持される。ＰＣ２に入力された文書画像の一例を図３に示す。
【００４０】
図３に示すように、文書画像４０には、ＴＩＴＬＥ、区分バー、大きいフォントの文字、写真（絵）、小さいフォントの文字などが記載されているものとする。
【００４１】
続いて、図３の文書画像４０に対してレイアウト解析部１３によってレイアウト解析が行われる（ステップＳ１０２）。
【００４２】
この場合、レイアウト解析が行われて、図４に示すように、文書画像４０のＴＩＴＬＥ領域４１、区分バー領域４２、大きいフォントの文字領域４３、写真（絵）領域４４、小さいフォントの文字領域４５などの位置座標（範囲）が検出される。これらレイアウト解析結果の情報をレイアウト情報と称す。
【００４３】
領域の位置座標（範囲）としては、少なくとも各領域を構成する矩形範囲の左上頂部のｘ，ｙ座標、右下頂部のｘ，ｙ座標の２点が検出される。なお矩形範囲の四隅の座標でもよい。
【００４４】
続いて、分離対象領域決定部１４は、レイアウト情報を用いて、例えば文字が記入された領域や写真及び線画の領域などを検出し、前景背景分離対象領域を決定する（ステップＳ１０３）。
【００４５】
ここでは、レイアウト解析部１３により解析された文書画像のレイアウト情報から、複数の文字が横に並ぶ行方向の領域（文字行領域）を分離対象領域とすることとする。
【００４６】
また、この例では、文字行領域を前景背景分離対象領域としたが、文字行領域ではなく、単位文字領域あるいは文字列領域を前景背景分離対象領域としてもよい。また、線図領域、罫線領域なども前景背景分離対象領域に含めてもよい。
【００４７】
続いて、文字サイズ推定部１５は、分離対象領域決定部１４により決定された前景背景分離対象領域の中で、文字が含まれる領域を選出し、その領域の文字のサイズを推定する（ステップＳ１０４）。図３の文書画像に対して文字サイズ推定を行った例を図５、図６に示す。
【００４８】
ここでは、文字サイズ推定部１５は、分離対象領域決定部１４により決定された文字が存在する領域４１、４３、４５（高さと幅）を検出し、それぞれの領域４１、４３、４５毎に文字のサイズ（何ポイントか）を推定する。例えば領域４３の場合、文字サイズ推定部１５は、領域４３の画素の分布、画素配置の連続性等から、図５に示すように、複数の文字列の領域Ｅ１〜Ｅ５を検出し、領域の高さが何ポイントの文字に相当するかを予め設定された文字のポイント数の情報と比較することで判定（推定）する。
【００４９】
そして、文字サイズ推定部１５は、それぞれの文字列の領域Ｅ１〜Ｅ５に対して順に文字行属性を持たせ、文字行毎に単位文字の位置（範囲）と大きさを求める。例えば文字行である文字列領域Ｅ１の縦幅（高さ）から、図６に示すように、その行の中に配置可能な単位文字領域Ａ１〜Ａ５…のそれぞれの位置（範囲）と大きさを求める。
【００５０】
この場合、文字行に含まれる文字単位の大きさの平均値や再頻値を推定値として用いてもよく、文字行の高さを推定値として用いてもよい。
【００５１】
また、各前景背景分離対象領域毎に文字サイズを推定してもよく、近傍の前景背景分離対象領域をまとめて文字サイズを推定してもよい。線図領域、罫線領域などのように文字が含まれない領域に対しては、文字サイズの推定は行われないものとする。
【００５２】
続いて、解像度変換部１６は、文字サイズ推定部１５によって推定された文字サイズに応じて前景背景分離対象領域の解像度を変換する（ステップＳ１０５）。なおこの解像度変換処理は文字サイズと予め設定された閾値（の範囲）とを比較して、その大小関係（閾値の範囲内か範囲外か、範囲外の場合、範囲の上か下か等）により解像度を変えない、解像度を上げる方向、または下げる方向に行うものとする。
【００５３】
すなわち、拡大による解像度変換を行うかどうかを決定するための文字サイズの閾値を、閾値Ｔｕとし、縮小による解像度変換を行うかどうかを決定するための文字サイズの閾値を閾値Ｔｄとすると、推定された前景の文字サイズＴｅが、閾値Ｔｅ＜閾値Ｔｕの場合、解像度を上げ、推定された文字サイズＴｅが閾値Ｔｅ＞閾値Ｔｄの場合、解像度を下げる。
【００５４】
閾値Ｔｕ，Ｔｄは固定値を用いても良く、また応用用途や要求される文字認識品質を実現するために必要なサイズに応じて変動させても良く、動的に決定しても良い。例えば文書に含まれる文字の平均サイズがＴａであった場合には、Ｔｕ＝Ｔａ／２，Ｔｄ＝Ｔａ×３などのように値を決定することにより、閾値Ｔｕ，Ｔｄの動的な決定が可能である。
【００５５】
解像度の設定方法としては、変換前の画像の解像度Ｒ、変換後の解像度をＲ’とすると、元画像の解像度にある値Ｒａを加えたものを変換後の解像度とする（Ｒ’＝Ｒ＋Ｒａ）、元画像の解像度にある値Ｒｍをかけたものを変換後の解像度とする（Ｒ’＝Ｒ×Ｒｍ）、変換後の文字サイズがある値Ｔｔとなるようにする（Ｒ’＝Ｒ×Ｔｔ／Ｔｅ）などのように適切な方法で決定すればよい。
【００５６】
解像度が設定された後、変換対象の領域の画像に対して（Ｒ’／Ｒ）倍の拡大、または縮小処理を行う。拡大または縮小処理の方法としては、一般的に知られているバイリニア、バイキュービックなどの画素値の補間手法を用いるものとする。
【００５７】
ここで、閾値Ｔｕが、例えば８ポイントに予め設定されていたものとすると、図７の例では、右下の６ポイントの文字サイズの領域ＥＥが拡大による解像度変換の対象となり、上部の３０ポイントの文字サイズの領域ＡＡが縮小による解像度変換の対象となる。
【００５８】
続いて、領域分離部１７は、解像度変換部１６により文字サイズに応じて解像度変換された領域または閾値の範囲内の解像度変換されなかった前景背景分離対象領域の分離を行う（ステップＳ１０６）。
【００５９】
まず、領域分離部１７は、前景背景分離対象領域の画像の二値化を行う。画像の二値化は大津の二値化方法など広く知られた二値化手法を用いるものとする。
【００６０】
続いて、領域分離部１７は、二値化された領域の画像の値（０または１）のどちらが前景となるべきか背景となるべきかを判定する。文書は、多くの場合、白などの濃度の薄い背景に文字や画像などの濃度の濃い内容が書かれる場合が多い。そこで、領域分離部１７は、二値化された画像の値のうち濃度が濃い方の画素領域を前景、それ以外を背景として分離する。
【００６１】
この他、通常、文字が含まれる領域内で背景（文字以外の部分）の面積（画素数）の方が前景（文字の黒画素部分）の面積よりも広いことが多いことから、二値化された画像の値のうち、面積がより少ない値に対応する画素の領域を、前景として選出してもよい。
【００６２】
また、文字列を構成する領域の端部は背景となる場合が多いため、二値化された画像の値のうち、文字列領域を構成する領域の端部をより少なく占める方を前景として選ぶことにより、反転文字にも対応可能な前景背景分離処理を行ってもよい。
【００６３】
ここで、領域分離部１７は、前景として分離した領域の画素値を、元の文書画像を参照し、前景の色（前景色）を推定する。前景色を推定するには、前景として分離した領域の画素値を、元の文書画像を参照しＲＧＢ毎の平均画素値あるいは最頻値をとればよい。
【００６４】
続いて、領域分離部１７は、背景として分離した領域の画素値を、元の文書画像を参照し、背景色を推定する。背景色を推定する場合、背景の部分の画素値を、元画像を参照してＲＧＢ毎の平均画素値、あるいは最頻値をとればよい。
【００６５】
続いて、領域分離部１７は、背景に対応する画素値を元の文書画像から参照し背景の色（背景色）を推定する。背景色の推定方法としては、画像メモリ１２に記憶されている元の文書画像を読み出して、背景の部分についてＲＧＢ毎の平均画素値、あるいは最頻値を得ることで、背景の色（背景色）を推定する。
【００６６】
続いて、領域画像生成部１８は、領域分離部１７により分離された前景および背景の各画像に対して、それぞれ推定した色で、前景画像、背景画像を生成する（ステップＳ１０７）。
【００６７】
前景画像は、前景色が類似する解像度が等しい前景背景分離対象領域の前景画素成分を統合することにより生成される。前景画像と背景画像を統合する際には、予めレイアウト解析で求めておいた配置情報（どの前景画像を背景画像のどの位置に統合するかという配置情報）を用いる。
【００６８】
これにより、前景画像と背景画像を統合する際に、正しい位置に前景画像を配置することが可能となる。元の文書画像から前景を構成する画素の画素値をその画素が含まれる前景の背景色で置き換えることにより背景画像を生成することができる。
【００６９】
この処理により、背景画像は、文字などが含まれない、なめらかな画像となり、画像効率を高めることができる。背景画像のサイズを小さくしたい場合には、背景画像の縮小を行う解像度変換を行っても良い。生成された前景背景画像の例を図８に示す。
【００７０】
続いて、画像圧縮部１９は、領域画像生成部１８により生成された前景画像と背景画像それぞれに対して圧縮処理を行うことで（ステップＳ１０８）、図９に示すように、解像度の異なる前景画像９１，９２，９３と背景画像９４を生成する。なお、文字サイズが閾値内の場合は、解像度変換が行われない場合もあり、それぞれの解像度は必ずしも異なるものではない。
【００７１】
前景画像９１は、解像度２００ｄｐｉ、ＲＧＢ（０，０，１００）、座標情報ｘ１等で生成される。前景画像９２は、解像度３００ｄｐｉ、ＲＧＢ（０，０，０）、座標情報ｘ２等で生成される。前景画像９３は、解像度６００ｄｐｉ、ＲＧＢ（０，０，０）、座標情報ｘ３等で生成される。背景画像９４は、解像度１５０ｄｐｉ等で生成される。
【００７２】
前景画像９１，９２，９３は、二値画像の圧縮に適したＭＭＲ圧縮で圧縮され、背景画像９４は自然画の圧縮に適したＪＰＥＧ圧縮で圧縮される。これにより圧縮率を高めることができる。ここで用いる圧縮手法は、ＭＭＲ圧縮、ＪＰＥＧ圧縮に限定されるものではなく、他の圧縮手法を用いてもかまわない。
【００７３】
続いて、画像統合部２０は、画像圧縮部１９により圧縮された前景画像９１，９２，９３と背景画像９４とを統合（再配置）することで、図１０に示すように、元の文章画像とほぼ同じ配置の文書画像４０ａを生成し、画像出力装置３へ出力する（ステップＳ１０９）。
【００７４】
ここでは、出力形式としてPortable Document Format（以下「ＰＤＦ」と称す）を選ぶ場合について説明する。ＰＤＦは、複数の画像形式や解像度を混在させることができ、二値画像に対するマスク属性の付与が可能なフォーマットである。
【００７５】
すなわち、画像統合部２０は、背景画像の上に前景画像を配置した文書画像を生成し、前景画像に対しては画素毎にマスク属性を与える。マスクがＯＮ（１）の画素のみそれぞれの前景画像に設定された前景色が表示されるようにすることで、前景画像、背景画像から元画像と同様の見た目の文書を出力することができる。
【００７６】
このようにこの実施形態の画像処理装置によれば、文書画像の中に小さい文字が含まれていた場合に、ファイルサイズが小さいにもかかわらず画質の劣化が少なくて見やすい文書を生成することができる。
【００７７】
ここで、図１１、図１２を参照して本実施形態による画質向上効果について説明する。図１１にカラーの元画像をそのまま二値化する場合の画像を示し、図１２に本実施形態により解像度を向上させた場合の画像を示す。
【００７８】
図１１に示すように、前景部分の３００ｄｐｉのカラー画像９５（以下「元画像９５」と称す）をそのままの解像度で二値化すると、二値化による階調情報が欠落するため、二値化した画像９６の小さな文字では見た目の画質劣化が激しい。文字の輪郭形状や文字ストロークの太さもいびつに見える。
【００７９】
一方、図１２に示すように、本実施形態の画像処理装置において、元画像９５から解像度を上げる方向に解像度変換（３００ｄｐｉ→６００ｄｐｉ）を行って高解像度の画像９７を生成し、その画像９７を二値化した場合に、その二値化した画像９８は、階調情報が欠落していても見た目の画像の劣化が少ない。
【００８０】
互いの画像（図１１の画像９６と図１２の画像９８）を比較すると、本実施形態の画像処理装置で生成した画像９８（前景と背景に分離した後に前景画像を解像度変換した後、統合したもの）の画質向上効果は明らかである。
【００８１】
本実施形態の画像処理装置では、文字が含まれる前景の解像度を向上させることで、前景成分のファイルサイズが増大する可能性はあるものの、ＭＭＲ圧縮技術を用いて前景成分の圧縮文書画像を圧縮する場合、ファイルサイズの増大は画素数の増大と比較して小さく、画質向上のメリットの方が大きいといえる。
【００８２】
また、画像中に大きな文字が含まれている場合は、その領域の前景成分の解像度を下げたとしても画質に与える影響は少ないため、解像度を低下させる方向で解像度変換を行うことによって出力画像のファイルサイズをより小さくすることができる。
【００８３】
なお、本願発明は、上記実施形態のみに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形してもよい。また、上記実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の発明を構成できる。
【００８４】
例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００８５】
【図１】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】画像処理装置の動作を示すフローチャートである。
【図３】処理対象の文書画像の一例を示す図である。
【図４】レイアウト解析により検出された各領域を示す図である。
【図５】図３の文書画像の文字領域に対して文字列領域を検出した例を示す図である。
【図６】図５の文字列領域に含まれる単位文字領域を検出した例を示す図である。
【図７】文書画像の各領域の指定文字サイズを示す図である。
【図８】前景画像を示す図である。
【図９】元の文書画像に対して解像度変換した前景画像と背景画像を示す図である。
【図１０】元の文章画像とほぼ同じ配置で生成した文書画像を示す図である。
【図１１】カラーの元画像をそのまま二値化する場合の画質を示す図である。
【図１２】カラーの元画像に対して解像度変換を行った後に二値化する場合の画質を示す図である。
【符号の説明】
【００８６】
１…画像取込装置、２…コンピュータ（ＰＣ）、３…画像出力装置、１２…画像メモリ、１３…レイアウト解析部、１４…分離対象領域決定部、１５…文字サイズ推定部、１６…解像度変換部、１７…領域分離部、１８…領域画像生成部、１９…画像圧縮部、２０…画像統合部。
【図１】
2010056827.tif 000003
【図２】
2010056827.tif 000004
【図３】
2010056827.tif 000005
【図４】
2010056827.tif 000006
【図５】
2010056827.tif 000007
【図６】
2010056827.tif 000008
【図７】
2010056827.tif 000009
【図８】
2010056827.tif 000010
【図９】
2010056827.tif 000011
【図１０】
2010056827.tif 000012
【図１１】
2010056827.tif 000013
【図１２】
2010056827.tif 000014