(57)【要約】【課題】文字と写真、絵等が混在する画像を高圧縮する画像処理装置において、ユーザが画像圧縮の結果を事前に予測できるようにする。【解決手段】マスクデータ生成の際にエラー発生可能な箇所を判定する手段と、該判定されたエラー発生可能な箇所の位置と範囲の情報を記録する手段と、マスクデータと各画像レイヤーに加えて、エラー発生可能な箇所の位置と範囲の情報から、重ね合わせ画像を生成する手段とを設ける。エラー発生可能な箇所は、画像の明度変化を測定し、該測定された画像の明度変化にもとづいて判定する。具体的には、明度変化が緩やかな箇所に対応するマスクデータ中の画素有効領域をエラー発生可能な箇所と判定する。【選択図】図１
2012195912.tif 000002
【特許請求の範囲】
【請求項１】
画像からマスクデータを生成し、前記マスクデータをもとに、前記画像を複数の画像レイヤーに分離し、前記マスクデータと各画像レイヤーごとに圧縮して統合する画像処理装置において、
前記マスクデータ生成の際にエラー発生可能な箇所を判定する第１手段と、
前記エラー発生可能な箇所の位置と範囲の情報を記録する第２手段と、
前記マスクデータと各画像レイヤーに加えて、前記エラー発生可能な箇所の位置と範囲の情報から、重ね合わせ画像を生成する第３手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像の明度変化を測定する第４手段を更に有し、
前記第１手段は、前記測定された画像の明度変化にもとづいて、前記エラー発生可能な箇所を判定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１手段は、前記明度変化が緩やかな箇所に対応する前記マスクデータ中の画素有効領域をエラー発生可能な箇所と判定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１手段は、マスクデータ生成に用いられる黒連結成分の外接矩形の大きさにもとづいて、前記エラー発生可能な箇所を判定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１手段は、前記外接矩形の大きさが所定の閾値の間にある箇所に対応する前記マスクデータ中の画素有効領域をエラー発生可能な箇所と判定する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１手段は、前記外接矩形の大きさに応じて、前記エラー発生可能な箇所の範囲を決める、
ことを特徴とする請求項４もしくは５に記載の画像処理装置。
【請求項７】
画像からマスクデータを生成し、前記マスクデータをもとに、前記画像を複数の画像レイヤーに分離し、前記マスクデータと各画像レイヤーごとに圧縮して統合する画像処理方法において、
前記マスクデータ生成の際にエラー発生可能な箇所を判定する第１ステップと、
前記エラー発生可能な箇所の位置と範囲の情報を記録する第２ステップと、
前記マスクデータと各画像レイヤーに加えて、前記エラー発生可能な箇所の位置と範囲の情報から、重ね合わせ画像を生成する第３ステップと、
を有することを特徴とする画像処理方法。
【請求項８】
前記画像の明度変化を測定する第４ステップを更に有し、
前記第１ステップは、前記測定された画像の明度変化にもとづいて、前記エラー発生可能な箇所を判定する、
ことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記第１ステップは、前記明度変化が緩やかな箇所に対応する前記マスクデータ中の画素有効領域をエラー発生可能な箇所と判定する、
ことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記第１ステップは、マスクデータ生成に用いられる黒連結成分の外接矩形の大きさにもとづいて、前記エラー発生可能な箇所を判定する、
ことを特徴とする請求項７に記載の画像処理方法。
【請求項１１】
前記第１ステップは、前記外接矩形の大きさが所定の閾値の間にある箇所に対応する前記マスクデータ中の画素有効領域をエラー発生可能な箇所と判定する、
ことを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記第１ステップは、前記外接矩形の大きさに応じて、前記エラー発生可能な箇所の範囲を決める、
ことを特徴とする請求項１０もしくは１１に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字と写真、絵等が混在する画像を高度に圧縮する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
文字と写真、絵等が混在する画像を高い圧縮率で圧縮する手法として、文字や写真など特徴ある画像毎に分離し、それぞれに適した圧縮を行い、マスクデータと共に重ね合わせて一つのドキュメント（例えば高圧縮ＰＤＦ）とする高圧縮技術がある。
【０００３】
例えば、図６に示すように、画像を前景（第一画像）と、背景（第二画像）とに分離すると共に、前景又は背景を選択可能なマスクデータを生成し、それぞれを圧縮符号化していた。また、画像を再現する際は、圧縮符号化した前景、背景及びマスクデータをそれぞれ伸長復号化し、マスクデータに基づいて、前景又は背景を選択していた。さらには、第三画像（黒文字）までを用い、より高度な圧縮を行うことも提案されている（特許文献１）。
【０００４】
ところで、マスクデータの生成は、明度や文字認識によって行われるため、完全ではなく、図６に示すように、人間の目から見てエラーを含む場合が多々ある。高圧縮ＰＤＦにおいては、マスクデータに応じて、統合画像を生成するため、マスクデータのエラーは、文字の視認性を阻害する主要因となる。
【０００５】
しかし、今までのシステムにおいては、高圧縮ＰＤＦの画像がどのようになっているか、重ね合わせられる各レイヤーのデータを画像展開(ラスタライズ)しない限り、どのような画像が得られたか分からない問題があった。一般的に複数レイヤーを重ね合わせた画像のラスタライズには多くの演算とメモリが必要となるため、コストの限定された組込み機器においては、PDFの生成結果を得ることが困難であり、ユーザーが画像圧縮の結果を確認することが出来ない問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の課題は、高圧縮ＰＤＦ等における各レイヤーのデータを画像展開することなく、比較的簡単に、ユーザが画像圧縮の結果を事前に予測することが可能な画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、画像からマスクデータを生成し、該マスクデータをもとに、画像を複数の画像レイヤーに分離し、マスクデータと各画像レイヤーごとに圧縮を行う画像処理装置において、マスクデータ生成の際にエラー発生可能な箇所を判定する手段と、該判定されたエラー発生可能な箇所の位置と範囲の情報を記録する手段と、マスクデータと各画像レイヤーに加えて、エラー発生可能な箇所の位置と範囲の情報から、重ね合わせ画像を生成する手段とを有することを特徴としている。
【０００８】
一実施例では、画像の明度変化を測定し、該測定された画像の明度変化にもとづいて、エラー発生可能な箇所を判定する。具体的には、明度変化が緩やかな箇所に対応するマスクデータ中の画素有効領域をエラー発生可能な箇所と判定する。
【０００９】
別の実施例では、マスクデータ生成に用いられる黒連結成分の外接矩形の大きさにもとづいて、エラー発生可能な箇所を判定する。具体的には、外接矩形の大きさが所定の閾値の間にある箇所に対応するマスクデータ中の画素有効領域をエラー発生可能な箇所と判定する。また、外接矩形の大きさに応じて、エラー発生可能な箇所の範囲を決める。
【発明の効果】
【００１０】
本発明によれば、高圧縮ＰＤＦ等を構成する各画像レイヤーを生成する際に、画像破壊が起きそうな箇所の重ね合わせ結果を得ることができ、ユーザが画像圧縮の結果を事前に予測することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１の画像処理装置の全体構成図である。
【図２】明度変化によりエラー発生可能性箇所の判定を説明する図である。
【図３】重ね合わせ画像生成範囲を説明する図である。
【図４】重ね合わせ画像生成に用いるテーブルの具体例を示すである。
【図５】本発明の実施例２の画像処理装置の全体構成図である。
【図６】高圧縮ＰＤＦの重ね合わせを説明する図である。
【図７】マスクデータのエラー発生を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を図面を用いて詳しく説明する。
【実施例１】
【００１３】
本実施例は、マスクデータを生成する際にエラー（画像破壊）が発生しやすいと考えられる箇所を画像の明度変化によって推定するものである。マスクデータのエラー発生箇所はマスクデータの生成ロジックによって異なるが、多くの場合、前景と背景で明度差が少ない箇所はどのような手法によっても、分離が困難である。そこで、本実施例では、マスクデータ生成と平行して、画像の明度変化を測定し、明度変化が小さい箇所に対応するマスクデータ中の画素有効領域をエラーが発生しやすい箇所と判定して、マスクデータ中の当該箇所の座標を抽出する。この抽出した座標を含む所定範囲について、各レイヤーの画像とマスクデータを用いて重ね合わせ画像を生成し表示することで、画像破壊が生じやす箇所を事前に予測することができる。
【００１４】
図１に、本実施例にかかる画像処理装置の一例の全体構成図を示す。画像読取部１０１によって文字と写真、絵等が混在するドキュメント画像を読み取り、画像補正部１０２によって、この読み取られた画像についてシェーディングやその他の、必要な補正の処理を行う。また、画像補正部１０２では、画像の拡大縮小などのデジタル変倍処理を行うこともできる。
【００１５】
マスク生成部１０３は、画像補正部１０２によって必要な補正処理の施された画像を入力して、文字等の前景あるいはそれ以外の背景の画像を選択可能なマスクデータ（選択データ）を生成する。マスクデータの生成手法は、種々の手法が知られているが、本実施例では、明度によってマスクデータを生成するとする。マスクデータは、選択する画像の画素（有効画素）が“１”、それ以外の画素が“０”を示す２値画像である。
【００１６】
第一画像生成部１０４は、マスクデータに基づいて、必要な補正処理の施された画像（ドキュメント画像）から前景等の第一画像を分離・生成する。第二画像生成部１０５は、同様にマスクデータに基づいて、ドキュメント画像から前景以外の第二画像を分離・生成する。このような第一画像や第二画像などを画像レイヤーと称す。第一画像圧縮部１０６は、第一画像生成部１０４で生成された第一画像を該第一画像に適した圧縮手法で圧縮して第一圧縮画像を生成し、第二画像圧縮部１０７は、第二画像生成部１０５で生成された第二画像を該第二画像に適した圧縮手法で圧縮して第二圧縮画像を生成する。また、マスク圧縮部１０８は、マスク生成部１０３で生成されたマスクデータを圧縮して圧縮マスクデータを生成する。
【００１７】
データ統合部１０９は、第一画像圧縮部１０６、第二画像圧縮部１０７、マスク圧縮部１０８でそれぞれ生成された第一圧縮画像、第二圧縮画像及び圧縮マスクデータを一つの画像ファイル上で統合して統合画像（例えば高圧縮ＰＤＦ）を生成する。
【００１８】
これらのマスクデータ生成、画像分離、画像圧縮、画像統合の動作は従来技術と同様である。本実施例は、このうち、マスクデータの生成の際にエラーが発生しやすい箇所を明度変化を利用して抽出し、これら箇所を含む周囲の重ね合わせ画像をプレビュー可能とするものである。以下、本実施例の特徴的構成・動作を説明する。
【００１９】
図１において、明度変化測定部１１０は、画像補正部１０２によって必要な補正処理の施された画像を入力して、画素ごとに明度変化量（明度変化率）を測定する。明度変化量は一方向のみでもよいが、主走査・副走査の二方向の明度変化量を合わせることで、より確実な明度変化量を測定することができる。この明度変化量の測定には、微分フィルタ（例えば、Sobelフィルタ、Prewittフィルタ等）を用いる。
【００２０】
エラー発生判定部１１１は、明度変化測定部１１０で測定された明度変化量とマスク生成部１０３で生成されたマスクデータを入力して、明度変化が小さい箇所に対応するマスクデータ中の画素有効領域（１と判定された画素領域）をエラーが発生しやすい箇所として抽出する。具体的には、図２に示すように、生成されたマスクデータにおいて、明度の変化量が所定の閾値以上（明度変化が急峻）で、マスク画素有効と判定された箇所ａ，ｃは、正常とするが、明度変化量が所定の閾値以下（明度変化が緩やか）で、マスク画素有効と判定された箇所ｂは、エラー可能性ありとする。エラー発生判定部１１１は、マスクデータ中のエラー可能性ありと判定された箇所の明度変化量とその座標を出力する。
【００２１】
重ね合わせ画像範囲設定部１１２は、エラー発生判定部１１１にてマスクデータ中のエラー発生しやすいと判定された箇所の座標をもとに、後述の重ね合わせ画像を生成する範囲（合成画像をプレビューする表示範囲）のサイズを設定する。例えば、表示画面は事前に分かっているため、解像度と表示画面サイズから適切なサイズを算出し、上記座標を含んだ形で、その決められた大きさの矩形を決定する。図３の（ａ）に、この場合のエラー発生可能性領域と重ね合わせ画像生成範囲の関係の一例を示す。
【００２２】
重ね合わせ画像範囲設定部１１２は、明度変化量と、マスクデータ中のエラー発生しやすいと判定された箇所（エラー発生可能性領域）の座標及び重ね合わせ生成範囲の情報をテーブル１１３に記録する。図３にテーブル１１３の一例を示す。テーブル１１３のエントリーは有限である。そのため、テーブル１１３のデータを明度変化量の小さい順にソートし、所定以上のデータは破棄するようにしてもよい。
【００２３】
画像合成部１１４は、第一画像生成部１０４、第二画像生成部１０５、マスク生成部１０３で生成された第一画像、第二画像、マスクデータと共にテーブル１１３からエラー発生可能性領域の座標及び重ね合わせ画像生成範囲の情報を入力して、マスクデータを生成する際にエラー発生（画像破壊）が起こりうる箇所の周囲について、各レイヤーの画像とマスクデータを用いて重ね合わせて合成画像を生成する。この生成された合成画像を表示（プレビュー）することで、ユーザは画像破壊の起こりそうな箇所を確認することができる。また、各レイヤーの画像は圧縮前のものであるため、重ね合わせの方法は、パソコン等のＰＣビューアなどによって表示される表示方法と同様のものを用いることができる。
【実施例２】
【００２４】
本実施例は、マスクデータを生成する際にエラー（画像破壊）が発生しやすいと考えられる箇所を黒連結成分の外接矩形によって推定するものである。マスクデータとして文字マスクデータ（文字選択データ）を生成する際には、黒連結成分の外接矩形の大きさによって文字成分を抽出する方法がある（例えば特許文献２）。この場合、外接矩形がある程度大きければ文字と見なされる。極端に小さい場合はノイズや網点などであり文字成分として見なされない。この場合、文字と見なされないほど小さいが、ノイズとみなされるよりは大きいと判断される場合、マスクデータとしてエラーとなりえる。そこで、本実施例では、外接矩形サイズが所定閾値の間である場合、エラーが発生しやすいとみなし、マスクデータ中の当該箇所の座標を抽出する。これ以外は実施例１と基本的に同様である。
【００２５】
図５に、本実施例に係る画像処理装置の一例の全体構成図を示す。図５において、画像読取部１０１、画像補正部１０２、第一及び第二画像生成部１０４，１０５、第一及び第二画像圧縮部１０６，１０７、マスク圧縮部１０８、データ統合部１０９の動作は、図１と同様であるので説明を省略する。以下、図１と異なる点について説明する。
【００２６】
マスク生成部１０３では、次のようにしてマスクデータ（文字選択データ）を生成する。まず、画像補正部１０２によって必要な補正処理の施された画像（ドキュメント画像）を所定の閾値で２値化して２値化画像を生成する。次に、この２値化画像について、黒連結成分を調べてその外接矩形を抽出し、この外接矩形の大きさによって文字部分（前景）を選択し、それ以外の部分（背景）は除去することで、マスクデータ（文字選択データ）を生成する。すなわち、マスクデータは、選択する画像（ここでは文字）の画素（有効画素）が“１”、それ以外の画素が“０”を示す２値画像である。
【００２７】
エラー発生判定部２１１は、マスク生成部１０３からマスクデータと共に外接矩形サイズ情報を入力して、外接矩形サイズが予め定めた２つの閾値の間にある箇所に対応するマスクデータ中の画素有効領域（１と判定された画素領域）をエラーが発生しやすい箇所（エラー発生可能性領域）として抽出する。そして、エラー発生判定部２１１は、このマスクデータ中のスラー発生可能性ありと判定された個所の座標とその外接矩形サイズの情報を出力する。
【００２８】
重ね合わせ画像範囲設定部２１２は、エラー発生判定部２１１にてマスクデータ中のエラー発生しやすいと判定された箇所の座標をもとに、重ね合わせ画像を生成する範囲のサイズを設定する。ここで、サイズを固定する方法は実施例１と同様でよい。サイズを可変にする方法は、本実施例では外接矩形のサイズによってエラーが発生すると推定できるので、その周囲の外接矩形の大きさを確認し、それらを含んだ領域を重ね合わせ画像生成範囲と設定すればよい。先の図３（ｂ）はこれを示している。
【００２９】
重ね合わせ画像範囲設定部２１２は、外接矩形サイズと、マスクデータ中のエラー発生しやすいと判定された箇所（エラー発生可能性領域）の座標及び重ね合わせ生成範囲の情報をテーブル２１３に記録する。このテーブル２１３は図４において明度変化量を外接矩形のサイズに置き換えたにすぎない。
【００３０】
画像合成部２１４は、第一画像生成部１０４、第二画像生成部１０５、マスク生成部１０３で生成された第一画像、第二画像、マスクデータと共にテーブル１１３からエラー発生可能性領域の座標及び重ね合わせ画像生成範囲の情報を入力して、マスクデータを生成する際にエラー発生（画像破壊）が起こりうる箇所の周囲について、各レイヤーの画像とマスクデータを用いて重ね合わせて合成画像を生成する。この生成された合成画像を表示（プレビュー）することで、実施例１と同様に、ユーザは画像破壊の起こりそうな箇所を確認することができる。また、各レイヤーの画像は圧縮前のものであるため、重ね合わせの方法は、パソコン等のＰＣビューアなどによって表示される表示方法と同様のものを用いることができる。
【００３１】
高圧縮ＰＤＦにおいて期待される重ね合わせ画像はドキュメント全面についてであるが、ドキュメントの画像サイズは一般的に大きい。例えば３００ｄｐｉ  Ａ４サイズで３５０８×４９６１であり、これは一般的な液晶などより大きな画素サイズである。この場合、
（ｉ）ＬＣＤなどの一般的表示装置で全面を表示することが困難
（ii）重ねあわせ画像を得るには多くのメモリと演算を必要とする
（iii）画像破壊が生じた箇所を視認することが難しい
ことから、画像全体の重ねあわせ画像を生成するのは非常に高コストかつ閲覧性が悪いものとなる。
【００３２】
上記各実施形態によれば、画像の一部、すなわち画像破壊が起きる可能性がある箇所の周囲についてのみ重ね合わせ処理を実施し、保持、表示することで、（ｉ）〜（iii）の問題はすべて解消される。また、重ね合わせは、エラー範囲を特定していることからＣＰＵなどの処理によっても現実的なスピードで実行することが可能である。一方、各レイヤーの変倍とマスク画像と各レイヤー画像での論理演算で構成されることからハード化することも容易である。
【符号の説明】
【００３３】
１０１  画像読取部
１０２  画像補正部
１０３  マスク生成部
１０４  第一画像生成部
１０５  第二画像生成部
１０６  第一画像圧縮部
１０７  第二画像圧縮部
１０８  マスク圧縮部
１０９  データ統合部
１１０  明度変化測定部
１１１  エラー発生判定部
１１２  重ね合わせ画像範囲設定部
１１３  テーブル
１１４  画像合成部
２１１  エラー発生判定部
２１２  重ね合わせ画像範囲設定部
２１３  テーブル
２１４  画像合成部
【先行技術文献】
【特許文献】
【００３４】
【特許文献１】特許第４４７６１７２号公報
【特許文献２】特許第４５５８２３２号公報
【図１】
2012195912.tif 000003
【図２】
2012195912.tif 000004
【図３】
2012195912.tif 000005
【図４】
2012195912.tif 000006
【図５】
2012195912.tif 000007
【図７】
2012195912.tif 000008
【図６】
2012195912.tif 000009