(57)【要約】      （修正有）【課題】  文字と非文字との判定を行うことなく、画質劣化を抑制し、効率よくファイルサイズを小さくすることを目的とする。【解決手段】  多値画像から二値画像を生成する二値画像生成手段１０２と、二値画像に基づいて、第一多値画像及び第二多値画像を生成する多値画像生成手段１０４と、を有し、多値画像生成手段１０４は、第一、第二の多値画像につき多値画像の画素位置に対応する二値画像の一方の画素値が存在すると、対応する位置の多値画像内の画素値に基き、それぞれの多値画像の画素の画素値を設定する。値が設定されたそれぞれの多値画像の既決画素の近傍の、値が未設定の多値画像の未決画素の画素値を、該未決画素の近傍の、既決画素の画素値を用いて設定する。【選択図】  図２
2006166355.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する画像処理装置であって、
多値画像を取得する多値画像取得手段と、
前記多値画像から二値画像を生成する二値画像生成手段と、
前記多値画像及び前記二値画像に基づいて、第一多値画像及び第二多値画像を生成する多値画像生成手段と、
を有し、
前記多値画像生成手段は、
前記第一多値画像の画素の位置に対応する位置の前記二値画像内に、二値画像の一方の画素値が存在すると、該二値画像の一方の画素値が存在する位置に対応する位置の前記多値画像内の画素値に基づいて、前記第一多値画像の画素の画素値を設定する第一多値画像画素値設定手段と、
前記第二多値画像の画素の位置に対応する位置の前記二値画像内に、二値画像の他方の画素値が存在すると、該二値画像の他方の画素値が存在する位置に対応する位置の前記多値画像内の画素値に基づいて、前記第二多値画像の画素の画素値を設定する第二多値画像画素値設定手段と、
値が設定された前記第一多値画像の既決画素の近傍の、値が設定されていない前記第一多値画像の未決画素の画素値を、該未決画素の近傍の、既決画素の画素値を用いて設定する第一多値画像画素未設定画素設定手段と、
値が設定された前記第二多値画像の既決画素の近傍の、値が設定されていない前記第二多値画像の未決画素の画素値を、該未決画素の近傍の、既決画素の画素値を用いて設定する第二多値画像画素未設定画素設定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
画像を符号化する符号化手段を更に有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第一多値画像及び前記第二多値画像は、同一の解像度であることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記第一多値画像及び前記第二多値画像の解像度は、前記多値画像の解像度より低い解像度であることを特徴とする請求項１乃至３何れか一項記載の画像処理装置。
【請求項５】
前記第一多値画像画素未設定画素設定手段は、
前記第一多値画像に対して、所定サイズのブロック領域を設定する第一ブロック内領域設定手段と、
前記第一ブロック内領域設定手段において設定されたブロック領域内に、画素値が設定された既決画素と、画素値が設定されていない未決画素と、が共に存在するか否かを計数する第一ブロック内既決・未決画素計数手段と、
を有し、
前記第二多値画像画素未設定画素設定手段は、
前記第二多値画像に対して、所定サイズのブロック領域を設定する第二ブロック内領域設定手段と、
前記第二ブロック内領域設定手段において設定されたブロック領域内に、画素値が設定された既決画素と、画素値が設定されていない未決画素と、が共に存在するか否かを計数する第二ブロック内既決・未決画素計数手段と、
を有することを特徴とする請求項１乃至４何れか一項記載の画像処理装置。
【請求項６】
前記第一多値画像画素未設定画素設定手段は、
前記未決画素の画素値を、前記第一ブロック内領域設定手段において設定されたブロック領域内の前記既決画素を用いて設定する第一画素値設定手段を更に有し、
前記第二多値画像画素未設定画素設定手段は、
前記未決画素の画素値を、前記第二ブロック内領域設定手段において設定されたブロック領域内の前記既決画素を用いて設定する第二画素値設定手段を更に有することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記第一多値画像画素未設定画素設定手段又は前記第二多値画像画素未設定画素設定手段は、前記所定サイズのブロック領域単位による画素値の設定を、前記所定サイズのブロック領域単位を段階的に大きくしながら再帰的に前記第一多値画像又は前記第二多値画像に対して行うことを特徴とする請求項５又は６記載の画像処理装置。
【請求項８】
前記第一多値画像画素未設定画素設定手段又は前記第二多値画像画素未設定画素設定手段は、前記所定サイズのブロック領域単位を段階的に大きくし、最終的には前記所定サイズのブロック領域単位を、８×８画素とすることを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記所定サイズのブロック領域は、８×８画素であることを特徴とする請求項５又は６記載の画像処理装置。
【請求項１０】
画素値が設定された既決画素の中から、画素値が設定されていない未決画素の近傍にある境界既決画素を検出する境界画素検出手段と、
前記境界既決画素の画素値を、前記未決画素の近傍にない別の既決画素の画素値を用いて補正する画素値補正手段と、
を更に有することを特徴とする請求項１乃至９何れか一項記載の画像処理装置。
【請求項１１】
前記境界画素検出手段において検出された境界既決画素に対して、エッジの検出を行うエッジ検出手段を更に有し、
前記画素値補正手段は、前記エッジ検出手段においてエッジとして検出された前記境界既決画素に対して、画素値の補正を行うことを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
画像を処理する画像処理装置における画像処理方法であって、前記画像処理装置が、
多値画像を取得する多値画像取得段階と、
前記多値画像から二値画像を生成する二値画像生成段階と、
前記多値画像及び前記二値画像に基づいて、第一多値画像及び第二多値画像を生成する多値画像生成段階と、
を有し、
前記多値画像生成段階は、
前記第一多値画像の画素の位置に対応する位置の前記二値画像内に、二値画像の一方の画素値が存在すると、該二値画像の一方の画素値が存在する位置に対応する位置の前記多値画像内の画素値に基づいて、前記第一多値画像の画素の画素値を設定する第一多値画像画素値設定段階と、
前記第二多値画像の画素の位置に対応する位置の前記二値画像内に、二値画像の他方の画素値が存在すると、該二値画像の他方の画素値が存在する位置に対応する位置の前記多値画像内の画素値に基づいて、前記第二多値画像の画素の画素値を設定する第二多値画像画素値設定段階と、
値が設定された前記第一多値画像の既決画素の近傍の、値が設定されていない前記第一多値画像の未決画素の画素値を、該未決画素の近傍の、既決画素の画素値を用いて設定する第一多値画像画素未設定画素設定段階と、
値が設定された前記第二多値画像の既決画素の近傍の、値が設定されていない前記第二多値画像の未決画素の画素値を、該未決画素の近傍の、既決画素の画素値を用いて設定する第二多値画像画素未設定画素設定段階と、
を有することを特徴とする画像処理方法。
【請求項１３】
画像を符号化する符号化段階を更に有することを特徴とする請求項１２記載の画像処理方法。
【請求項１４】
前記第一多値画像及び前記第二多値画像は、同一の解像度であることを特徴とする請求項１２又は１３記載の画像処理方法。
【請求項１５】
前記第一多値画像及び前記第二多値画像の解像度は、前記多値画像の解像度より低い解像度であることを特徴とする請求項１２乃至１４何れか一項記載の画像処理方法。
【請求項１６】
前記第一多値画像画素未設定画素設定段階は、
前記第一多値画像に対して、所定サイズのブロック領域を設定する第一ブロック内領域設定段階と、
前記第一ブロック内領域設定段階において設定されたブロック領域内に、画素値が設定された既決画素と、画素値が設定されていない未決画素と、が共に存在するか否かを計数する第一ブロック内既決・未決画素計数段階と、
を有し、
前記第二多値画像画素未設定画素設定段階は、
前記第二多値画像に対して、所定サイズのブロック領域を設定する第二ブロック内領域設定段階と、
前記第二ブロック内領域設定段階において設定されたブロック領域内に、画素値が設定された既決画素と、画素値が設定されていない未決画素と、が共に存在するか否かを計数する第二ブロック内既決・未決画素計数段階と、
を有することを特徴とする請求項１２乃至１５何れか一項記載の画像処理方法。
【請求項１７】
前記第一多値画像画素未設定画素設定段階は、
前記未決画素の画素値を、前記第一ブロック内領域設定段階において設定されたブロック領域内の前記既決画素を用いて設定する第一画素値設定段階を更に有し、
前記第二多値画像画素未設定画素設定段階は、
前記未決画素の画素値を、前記第二ブロック内領域設定段階において設定されたブロック領域内の前記既決画素を用いて設定する第二画素値設定段階を更に有することを特徴とする請求項１６記載の画像処理方法。
【請求項１８】
前記第一多値画像画素未設定画素設定段階又は前記第二多値画像画素未設定画素設定段階は、前記所定サイズのブロック領域単位による画素値の設定を、前記所定サイズのブロック領域単位を段階的に大きくしながら再帰的に前記第一多値画像又は前記第二多値画像に対して行うことを特徴とする請求項１６又は１７記載の画像処理方法。
【請求項１９】
前記第一多値画像画素未設定画素設定段階又は前記第二多値画像画素未設定画素設定段階は、前記所定サイズのブロック領域単位を段階的に大きくし、最終的には前記所定サイズのブロック領域単位を、８×８画素とすることを特徴とする請求項１８記載の画像処理方法。
【請求項２０】
前記所定サイズのブロック領域は、８×８画素であることを特徴とする請求項１６又は１７記載の画像処理方法。
【請求項２１】
画素値が設定された既決画素の中から、画素値が設定されていない未決画素の近傍にある境界既決画素を検出する境界画素検出段階と、
前記境界既決画素の画素値を、前記未決画素の近傍にない別の既決画素の画素値を用いて補正する画素値補正段階と、
を更に有することを特徴とする請求項１２乃至２０何れか一項記載の画像処理方法。
【請求項２２】
前記境界画素検出段階において検出された境界既決画素に対して、エッジの検出を行うエッジ検出段階を更に有し、
前記画素値補正段階は、前記エッジ検出段階においてエッジとして検出された前記境界既決画素に対して、画素値の補正を行うことを特徴とする請求項２１記載の画像処理方法。
【請求項２３】
コンピュータを、
多値画像を取得する多値画像取得手段と、
前記多値画像から二値画像を生成する二値画像生成手段と、
前記多値画像及び前記二値画像に基づいて、第一多値画像及び第二多値画像を生成する多値画像生成手段と、
を有し、
前記多値画像生成手段は、
前記第一多値画像の画素の位置に対応する位置の前記二値画像内に、二値画像の一方の画素値が存在すると、該二値画像の一方の画素値が存在する位置に対応する位置の前記多値画像内の画素値に基づいて、前記第一多値画像の画素の画素値を設定する第一多値画像画素値設定手段と、
前記第二多値画像の画素の位置に対応する位置の前記二値画像内に、二値画像の他方の画素値が存在すると、該二値画像の他方の画素値が存在する位置に対応する位置の前記多値画像内の画素値に基づいて、前記第二多値画像の画素の画素値を設定する第二多値画像画素値設定手段と、
値が設定された前記第一多値画像の既決画素の近傍の、値が設定されていない前記第一多値画像の未決画素の画素値を、該未決画素の近傍の、既決画素の画素値を用いて設定する第一多値画像画素未設定画素設定手段と、
値が設定された前記第二多値画像の既決画素の近傍の、値が設定されていない前記第二多値画像の未決画素の画素値を、該未決画素の近傍の、既決画素の画素値を用いて設定する第二多値画像画素未設定画素設定手段と、
を有することを特徴とする画像処理プログラム。
【請求項２４】
請求項２３記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関する。
【背景技術】
【０００２】
カラーの文書画像等のファイルサイズを小さくする手法として様々なものが提案されている。例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）と呼ばれる方式は、広く一般に流布している。
【０００３】
また、文字と非文字とを分離して、文字を二値画像、非文字を多値画像として別々に圧縮し、重ね合わせて表現する手法でファイルサイズを小さくする方法も知られている（例えば、特許文献１参照。）。
【０００４】
また、圧縮復元した画像に含まれるブロックノイズや、モスキートノイズ等の歪みを軽減する方法もある（例えば、特許文献２参照。）。特許文献２の方法では、着目画素近傍の画素から一定の条件を満たす画素を選択し、選択した画素の平均値をもって着目画素を代替すること、及び着目ブロック中のエッジの有無により前記代替の実行を判断すること等をもって、ノイズの削減が行え、ファイルサイズの低減にもつながる。
【０００５】
また、画像をブロック単位に分割して圧縮符号化する符号化方式もある（例えば、特許文献３参照。）。特許文献３の方法は、ブロック内の画素を閾値により二値化し、二値の各々の値により画素を分類し、それぞれの平均値を算出し、ブロック中にエッジが存在するときは、エッジ近傍の画素値の平均値をもって当該閾値とする方法である。
【特許文献１】特開２００２−３６８９８６号公報
【特許文献２】特開２００１−２４５１７９号公報
【特許文献３】特開２００３−０８７５７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したＪＰＥＧ方式は、文字を多く含む画像を圧縮する場合に、文字の周り（境界部）にノイズが起こりやすく、また、圧縮効率もよくない問題があった。例えば、ＪＰＥＧ方式では、文字の周りに本来ないはずの色が発生することがあり、画質低下の一因となっている。また、ファイルサイズを小さくするために解像度を落した上でＪＰＥＧを実行する方法もあるが、文字の場合には輪郭が低解像度化に伴いぼんやりとするので、画質の低下が大きい問題もある。
【０００７】
また、上述した特許文献１の方式は、一般的に文字と非文字の判定は難しく、判定を誤ると画質が低下する問題があった。
【０００８】
また、上述した特許文献２の方法は、強いエッジがあった場合、その画素を他の画素値に置き換えてエッジを弱めるため、文字等の再現性はよくない問題があった。
【０００９】
また、上述した特許文献３の方法は、エッジ情報を保存するのが目的であり、また、二値符号化をサポートする圧縮形式でないと適用できない問題があった。
【００１０】
本発明は、上記の点に鑑みなされたもので、文字と非文字との判定を行うことなく、画質劣化を抑制し、効率よくファイルサイズを小さくすることを目的とする。
【課題を解決するための手段】
【００１１】
そこで、上記課題を解決するため、本発明は、画像を処理する画像処理装置であって、多値画像を取得する多値画像取得手段と、前記多値画像から二値画像を生成する二値画像生成手段と、前記多値画像及び前記二値画像に基づいて、第一多値画像及び第二多値画像を生成する多値画像生成手段と、を有し、前記多値画像生成手段は、前記第一多値画像の画素の位置に対応する位置の前記二値画像内に、二値画像の一方の画素値が存在すると、該二値画像の一方の画素値が存在する位置に対応する位置の前記多値画像内の画素値に基づいて、前記第一多値画像の画素の画素値を設定する第一多値画像画素値設定手段と、前記第二多値画像の画素の位置に対応する位置の前記二値画像内に、二値画像の他方の画素値が存在すると、該二値画像の他方の画素値が存在する位置に対応する位置の前記多値画像内の画素値に基づいて、前記第二多値画像の画素の画素値を設定する第二多値画像画素値設定手段と、値が設定された前記第一多値画像の既決画素の近傍の、値が設定されていない前記第一多値画像の未決画素の画素値を、該未決画素の近傍の、既決画素の画素値を用いて設定する第一多値画像画素未設定画素設定手段と、値が設定された前記第二多値画像の既決画素の近傍の、値が設定されていない前記第二多値画像の未決画素の画素値を、該未決画素の近傍の、既決画素の画素値を用いて設定する第二多値画像画素未設定画素設定手段と、を有することを特徴とする。
【００１２】
本発明によれば、画像を処理する画像処理装置であって、多値画像を取得する多値画像取得手段と、前記多値画像から二値画像を生成する二値画像生成手段と、前記多値画像及び前記二値画像に基づいて、第一多値画像及び第二多値画像を生成する多値画像生成手段と、を有し、前記多値画像生成手段は、前記第一多値画像の画素の位置に対応する位置の前記二値画像内に、二値画像の一方の画素値が存在すると、該二値画像の一方の画素値が存在する位置に対応する位置の前記多値画像内の画素値に基づいて、前記第一多値画像の画素の画素値を設定する第一多値画像画素値設定手段と、前記第二多値画像の画素の位置に対応する位置の前記二値画像内に、二値画像の他方の画素値が存在すると、該二値画像の他方の画素値が存在する位置に対応する位置の前記多値画像内の画素値に基づいて、前記第二多値画像の画素の画素値を設定する第二多値画像画素値設定手段と、値が設定された前記第一多値画像の既決画素の近傍の、値が設定されていない前記第一多値画像の未決画素の画素値を、該未決画素の近傍の、既決画素の画素値を用いて設定する第一多値画像画素未設定画素設定手段と、値が設定された前記第二多値画像の既決画素の近傍の、値が設定されていない前記第二多値画像の未決画素の画素値を、該未決画素の近傍の、既決画素の画素値を用いて設定する第二多値画像画素未設定画素設定手段と、を有することによって、文字と非文字との判定を行うことなく、画質劣化を抑制し、効率よくファイルサイズを小さくすることができる。
【００１３】
なお、画像処理装置は、例えば後述する画像処理装置１に対応する。また、多値画像取得手段は、例えば後述する多値画像取得手段１０１に対応する。また、二値画像生成手段は、例えば後述する二値画像生成手段１０２に対応する。また、多値画像生成手段は、例えば後述する第一、二多値画像生成手段１０４に対応する。また、第一多値画像画素値設定手段は、例えば後述する第一多値画像画素値決定手段１０５に対応する。また、第二多値画像画素値設定手段は、例えば後述する第二多値画像画素値決定手段１０７に対応する。また、第一多値画像画素未設定画素設定手段は、例えば後述する第一多値画像未決定画素決定手段１０６に対応する。また、第二多値画像画素未設定画素設定手段は、例えば後述する第二多値画像未決定画素決定手段１０８に対応する。
【００１４】
また、上記課題を解決するための手段として、画像処理方法、画像処理プログラム及び記録媒体としてもよい。
【発明の効果】
【００１５】
本発明によれば、文字と非文字との判定を行うことなく、画質劣化を抑制し、効率よくファイルサイズを小さくすることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について図面に基づいて説明する。
【実施例１】
【００１７】
図１は、本実施例における基本的な処理を示す概念図である。図１に示されるように、本実施例（以下に示す実施例においても同様）では、原画像（又は多値画像）を、３層（第一多値画像と、第二多値画像と、二値画像と、）に分離し、それぞれに対して圧縮符号化を行い、重ね合わせ表示可能な形態にまとめる処理を基本的な処理としている。
【００１８】
なお、後述するように、画像処理装置１は、二値画像において黒画素の部分を第一多値画像の画素値を用いて表示し、二値画像において白画素の部分を第二多値画像の画素値を用いて表示する。
【００１９】
以下、画像処理装置１の構成の一例を、図２に示す。図２は、画像処理装置の構成図（その１）である。
【００２０】
図１に示されるように、画像処理装置１は、多値画像取得手段１０１と、二値画像生成手段１０２と、符号化手段１０３と、第一、二多値画像生成手段１０４と、を含み、第一、二多値画像生成手段１０４は、第一多値画像画素値決定手段１０５と、第一多値画像未決定画素決定手段１０６と、第二多値画像画素値決定手段１０７と、第二多値画像未決定画素決定手段１０８と、を含む。
【００２１】
多値画像取得手段１０１は、画像処理の対象となる多値画像を取得する。二値画像生成手段１０２は、多値画像取得手段１０１が取得した多値画像を、二値化し、二値画像を生成する。二値画像生成手段１０２における二値化の方法は、例えば予め定められた明度に係る閾値に基づいて、該閾値以上の画素を白画素、閾値未満の画素を黒画素と、する方法等がある。
【００２２】
第一、二多値画像生成手段１０４は、多値画像取得手段１０１が取得した多値画像及び／又は二値画像生成手段１０２が生成した二値画像に基づいて、第一多値画像及び第二多値画像を生成する。
【００２３】
第一多値画像画素値決定手段１０５は、第一多値画像の画像サイズを決定し、第一多値画像の画素値を同じ値（例えば、黒画素値）で仮に埋めた後、第一多値画像の画素に対応する位置に係る二値画像を特定し、該特定した二値画像内に、二値画像の一方の画素値（例えば、黒画素値）が存在するか否かを判定し、該特定した二値画像内に、二値画像の一方の画素値が存在すると判定すると、該二値画像内の一方の画素値が存在する位置に対応する位置に係る多値画像を特定し、該特定した多値画像（原画像）内の画素値に基づいて、第一多値画像の画素の画素値を設定する。なお、後述するように、第二多値画像画素値決定手段１０７は、第二多値画像の画像サイズを決定するが、第一多値画像画素値決定手段１０５が決定する第一多値画像の画像サイズと、第二多値画像画素値決定手段１０７が決定する第二多値画像の画像サイズは同じ画像サイズである。なお、本実施例では説明の簡略化のため、該画像サイズは、原画像のサイズの二分の一（解像度が二分の一といってもよい）とする。
【００２４】
第一多値画像未決定画素決定手段１０６は、値が設定された第一多値画像の画素の近傍の、値が設定されていない第一多値画像の画素の画素値を、該画素の近傍の、値が設定された第一多値画像の画素の画素値を用いて設定する。
【００２５】
第二多値画像画素値決定手段１０７は、第二多値画像の画像サイズを決定し、第二多値画像の画素値を同じ値（例えば、白画素値）で仮に埋めた後、第二多値画像の画素に対応する位置に係る二値画像を特定し、該特定した二値画像内に、二値画像の他方の画素値（例えば、白画素値）が存在するか否かを判定し、該特定した二値画像内に、二値画像の他方の画素値が存在すると判定すると、該二値画像内の他方の画素値が存在する位置に対応する位置に係る多値画像を特定し、該特定した多値画像（原画像）内の画素値に基づいて、第二多値画像の画素の画素値を設定する。なお、上述したように、第二多値画像画素値決定手段１０７が決定する第二多値画像の画像サイズは、第一多値画像画素値決定手段１０５が決定する第一多値画像の画像サイズと、同じ画像サイズである。
【００２６】
第二多値画像未決定画素決定手段１０８は、値が設定された第二多値画像の画素の近傍の、値が設定されていない第二多値画像の画素の画素値を、該画素の近傍の、値が設定された第二多値画像の画素の画素値を用いて設定する。
【００２７】
符号化手段１０３は、第一、二多値画像生成手段１０４によって生成された第一多値画像と、第二多値画像と、を、第一多値画像及び第二多値画像に適した方法で圧縮符号化する。また、符号化手段１０３は、二値画像生成手段１０２において生成された二値画像を、二値画像に適した方法で圧縮符号化する。
【００２８】
以下、第一多値画像の１画素に相当する二値画像及び原画像の位置の一例を、図３に示す。図３は、第一多値画像の１画素に相当する二値画像及び原画像の位置の一例を示す図である。
【００２９】
上述したように本発明の実施例では、第一多値画像の解像度は、二値画像及び原画像の解像度の二分の一であるため、図３に示されるように、第一多値画像の１画素の位置に相当する二値画像及び原画像の画素は、相対的に同じ位置にある２×２画素に該当する。第一多値画像画素値決定手段１０５は、図３に示した方法により、画素値を決定する第一多値画像の画素に対応する位置に係る二値画像を特定する。なお、第二多値画像画素値決定手段１０７も、第一多値画像画素値決定手段１０５と同様の処理又は方法により、画素値を決定する第二多値画像の画素に対応する位置に係る二値画像を特定する。
【００３０】
以下、第一多値画像の画素値の計算の一例を図４に示す。図４は、第一多値画像の画素値の計算の一例を示す概念図である。
【００３１】
第一多値画像画素値決定手段１０５は、図３に示したように、画素値を決定する第一多値画像の画素に対応する位置に係る二値画像を特定すると、該特定した二値画像の２×２画素内に、黒画素が存在するか否かを判定する。第一多値画像画素値決定手段１０５は、黒画素が存在すると判定すると、２×２画素内に含まれる黒画素の位置に相当する原画像の画素値を取得し、該取得した画素値の例えば平均値を、対応する第一多値画像の画素の画素値に決定する。
【００３２】
例えば、画素値を決定する第一多値画像の画素に対応する位置に係る二値画像の２×２画素内に、黒画素が３画素含まれていた場合、第一多値画像画素値決定手段１０５は、該３つの黒画素の位置に相当する原画像の画素値の例えば平均値を、対応する第一多値画像の画素の画素値に決定する。
【００３３】
また、画素値を決定する第一多値画像の画素に対応する位置に係る二値画像の２×２画素内に、黒画素が１画素も含まれていなかった場合、第一多値画像画素値決定手段１０５は、対応する第一多値画像の画素の画素値を未決とする。なお、以下では画素値が決定された画素を既決画素、画素値が決定されなかった画素を未決画素という。
【００３４】
第一多値画像画素値決定手段１０５は、上述した第一多値画像の画素値を決定する処理を、全ての第一多値画像に対して行う。なお、第二多値画像画素値決定手段１０７も、第一多値画像画素値決定手段１０５と同様の処理又は方法により、第二多値画像の画素値を決定する。但し、第二多値画像画素値決定手段１０７は、画素値を決定する第二多値画像の画素に対応する位置に係る二値画像を特定すると、該特定した二値画像の２×２画素内に、白画素が存在するか否かを判定し、白画素が存在すると判定すると、２×２画素内に含まれる白画素の位置に相当する原画像の画素値を取得し、該取得した画素値の例えば平均値を、対応する第二多値画像の画素の画素値に決定する。
【００３５】
以下、第一多値画像未決定画素決定手段１０６の構成の一例を、図５に示す。図５は、第一多値画像未決定画素決定手段の構成図である。
【００３６】
図５に示されるように、第一多値画像未決定画素決定手段１０６は、ブロック内領域設定手段１１１と、ブロック内既決・未決画素計数手段１１２と、画素値設定手段１１３と、を含む。
【００３７】
ブロック内領域設定手段１１１は、第一多値画像に対して、数画素四方のブロックサイズの設定（決定）及び／又は該設定したブロックサイズの拡大を行う。例えばブロック内領域設定手段１１１は、初めに、予め定められた値等に基づいて、ブロックサイズを２×２画素のサイズと設定し、要求等に応じて該ブロックサイズを４×４画素に拡大したり、要求等に応じて該ブロックサイズを最終的に予め定められた上限である８×８画素に拡大したりする。
【００３８】
なお、ブロック内領域設定手段１１１は、ブロックサイズの拡大処理を行わず、初めからブロックサイズを８×８画素に設定するようにしてもよい。
【００３９】
ブロック内既決・未決画素計数手段１１２は、ブロック内領域設定手段１１１が設定等したブロックサイズのブロック内の既決画素及び未決画素に係る計数を実行し、該ブロック内に既決画素及び未決画素が共に含まれているか否かを判定する。また、ブロック内既決・未決画素計数手段１１２は、ブロック内に、既決画素及び未決画素が共に含まれていると判定すると、ブロック内の既決画素の画素値の平均値を求める。
【００４０】
画素値設定手段１１３は、ブロック内既決・未決画素計数手段１１２が、求めたブロック内の既決画素の画素値の平均値をブロック内の未決画素の画素値として決定（設定）する。未決画素は、画素値設定手段１１３によって、画素値が決定されると、以降既決画素として扱われる。
【００４１】
第二多値画像未決定画素決定手段１０８の構成及び第二多値画像未決定画素決定手段１０８による処理等は、第一多値画像未決定画素決定手段１０６の構成及び第一多値画像未決定画素決定手段１０６による処理と同様である。
【００４２】
以下、第一多値画像未決定画素決定手段１０６によるブロック内平均による境界未決画素の平滑化の一例を、図６に示す。図６は、ブロック内平均による境界未決画素の平滑化の一例を示す図である。
【００４３】
図６（Ａ）に示されるように、ブロック内領域設定手段１１１は、初めに、ブロックサイズを例えば２×２画素のサイズと設定する。ブロック内既決・未決画素計数手段１１２は、ブロック内領域設定手段１１１が設定した２×２画素のブロックサイズのブロック内の既決画素及び未決画素に係る計数を実行し、該ブロック内に既決画素及び未決画素が共に含まれているか否かを判定する。ブロック内既決・未決画素計数手段１１２は、２×２画素のブロックサイズのブロック内に既決画素及び未決画素が共に含まれていると判定すると、２×２画素のブロックサイズのブロック内の既決画素の画素値の平均値（図６（Ａ）の例では（８＋２）／２＝５）を求める。画素値設定手段１１３は、ブロック内既決・未決画素計数手段１１２が求めた既決画素の画素値の平均値（図６（Ａ）の例では５）を、ブロック内の未決画素の画素値として決定（設定）する。
【００４４】
第一多値画像未決定画素決定手段１０６は、上述した２×２画素のブロックサイズによるブロック内平均による境界未決画素の平滑化を、第一多値画像全体に行った後、例えばブロック内領域設定手段１１１に対してブロックサイズの拡大を要求する。
【００４５】
該要求を受け取ったブロック内領域設定手段１１１は、図６（Ｂ）に示されるように、ブロックサイズを拡大し、例えばブロックサイズを４×４画素のサイズと設定する。ブロック内既決・未決画素計数手段１１２は、ブロック内領域設定手段１１１が設定した４×４画素のブロックサイズのブロック内の既決画素及び未決画素に係る計数を実行し、該ブロック内に既決画素及び未決画素が共に含まれているか否かを判定する。ブロック内既決・未決画素計数手段１１２は、４×４画素のブロックサイズのブロック内に既決画素及び未決画素が共に含まれていると判定すると、４×４画素のブロックサイズのブロック内の既決画素の画素値の平均値（図６（Ｂ）の例では（８＋５＋２＋５＋３＋３＋３＋３＋７＋４＋８＋９）／１２＝５）を求める。画素値設定手段１１３は、ブロック内既決・未決画素計数手段１１２が求めた既決画素の画素値の平均値（図６（Ｂ）の例では５）を、ブロック内の未決画素の画素値として決定（設定）する。
【００４６】
第一多値画像未決定画素決定手段１０６は、上述した４×４画素のブロックサイズによるブロック内平均による境界未決画素の平滑化を、第一多値画像全体に行う。
【００４７】
同様に、第一多値画像未決定画素決定手段１０６は、図６（Ｃ）に示されるように、例えば８×８画素のブロックサイズによるブロック内平均による境界未決画素の平滑化を、第一多値画像全体に行う。図６（Ｄ）は、８×８画素のブロックサイズによるブロック内平均による境界未決画素の平滑化処理が終わった後の第一多値画像の一例を示している。
【００４８】
なお、ブロックサイズを段階的に大きくし再帰的にブロック内平均による境界未決画素の平滑化処理を実行するのではなく、初めから８×８画素のブロックサイズによるブロック内平均による境界未決画素の平滑化を、第一多値画像全体に行うようにしてもよい。このようにすることにより、再帰的にブロック内平均による境界未決画素の平滑化処理を実行する必要がなくなり、該処理が速くなる。
【００４９】
なお、８×８画素のブロックサイズによるブロック内平均による境界未決画素の平滑化処理が終わった後でも、未決画素が存在する可能性は有り、該未決画素には、第一多値画像画素値決定手段１０５が仮の値として一律に埋めた、画素値が残ることとなる。
【００５０】
第二多値画像未決定画素決定手段１０８によるブロック内平均による境界未決画素の平滑化処理も、上述した第一多値画像未決定画素決定手段１０６によるブロック内平均による境界未決画素の平滑化処理と同様である。
【００５１】
第一、二多値画像生成手段１０４は、上述した処理により、既決画素と、未決画素と、の境界が滑らかに変換する第一多値画像と、第二多値画像と、を生成する。既決画素と、未決画素と、の境界の滑らかな変化は、符号化手段１０３等において行われる圧縮符号化に有利であり、ファイルサイズの削減と画質の向上とに役立つ。また、圧縮符号化の際にＪＰＥＧ方式で圧縮する場合、８×８画素までで処理を終了しても圧縮効率において問題はない。それは、ＪＰＥＧ方式では８×８画素にブロックサイズを設定し、該設定したブロックサイズのブロック内部での画素値の変動がファイルサイズに支配的な影響を及ぼすためで、ブロックをまたいで画素値が変化してもファイルサイズ的に殆ど影響が無いからである。また、未決画素は、８×８画素のブロックサイズでまとまって存在していれば、該ブロック内部は同一色になるのでファイルサイズとしても有利である。
【００５２】
第一、二多値画像生成手段１０４によって生成された第一多値画像と、第二多値画像と、は、符号化手段１０３によって、第一多値画像及び第二多値画像に適した方法で圧縮符号化される。例えば、第一多値画像及び第二多値画像に適した圧縮符号化としては、ＪＰＥＧ方式の圧縮や、ＪＰＥＧ２０００方式が有効である。
【００５３】
また、符号化手段１０３は、二値画像生成手段１０２が生成した二値画像を、二値画像に適した方法で圧縮符号化する。例えば、二値画像に適した圧縮符号化としては、ＭＭＲ（Ｍｏｄｉｆｉｅｄ  Ｍｏｄｉｆｉｅｄ  Ｒｅａｄ）方式や、ＪＢＩＧ（Ｊｏｉｎｔ  Ｂｉ−ｌｅｖｅｌ  Ｉｍａｇｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式、ＪＢＩＧ２方式等が有効である。
【００５４】
符号化手段１０３によって圧縮符号化された、第一多値画像と、第二多値画像と、二値画像と、の合計サイズは、処理対象の原画像よりもはるかに小さいサイズになっている。例えば、画像処理装置１は、これらの符号化手段１０３によって圧縮符号化された、第一多値画像と、第二多値画像と、二値画像と、を、ＪＰＭ（ＪＰＥＧ２０００マルチレイヤ）形式等にのっとり１つのファイルにまとめ、再現可能なフォーマットで保存する。
【００５５】
後述する実施例に示すように、画像処理装置１は、前記フォーマットを画像として再現する際には、圧縮符号化した３種類の画像をデコード（復号化）し、二値画像に基づいて、第一多値画像の画素値、又は第二多値画像の画素値、の何れを表示するかを切り替える。例えば、画像処理装置１は、二値画像の画素が黒画素であった場合、第一多値画像の画素値を表示し、二値画像の画素が白画素であった場合、第二多値画像の画素値を表示する。
【００５６】
以下、上述した各処理を、フローチャートを用いて説明する。図７は、画像処理装置における画像処理を示すフローチャート（その１）である。
【００５７】
ステップＳ１０において、多値画像取得手段１０１は、画像処理の対象となる多値画像（原画像）を取得する。
【００５８】
ステップＳ１０に続いてステップＳ１１に進み、二値画像生成手段１０２は、多値画像取得手段１０１が取得した多値画像を、二値化し、二値画像を生成する。
【００５９】
ステップＳ１１に続いてステップＳ１２に進み、第一多値画像画素値決定手段１０５は、第一多値画像の画像サイズを決定し、第一多値画像の画素値を同じ値（例えば、黒画素値）で仮に埋めた後、第一多値画像の画素に対応する位置に係る二値画像を特定し、該特定した二値画像内に、二値画像の一方の画素値（例えば、黒画素値）が存在するか否かを判定し、該特定した二値画像内に、二値画像の一方の画素値が存在すると判定すると、該二値画像内の一方の画素値が存在する位置に対応する位置に係る多値画像を特定し、該特定した多値画像（原画像）内の画素値に基づいて、第一多値画像の画素の画素値を設定する。
【００６０】
なお、第一多値画像画素値決定手段１０５による第一多値画像の画素値決定処理（ステップＳ１２の処理）の詳細は、後述する図８に示す。
【００６１】
ステップＳ１２に続いてステップＳ１３に進み、第二多値画像画素値決定手段１０７は、第二多値画像の画像サイズを決定し、第二多値画像の画素値を同じ値（例えば、白画素値）で仮に埋めた後、第二多値画像の画素に対応する位置に係る二値画像を特定し、該特定した二値画像内に、二値画像の他方の画素値（例えば、白画素値）が存在するか否かを判定し、該特定した二値画像内に、二値画像の他方の画素値が存在すると判定すると、該二値画像内の他方の画素値が存在する位置に対応する位置に係る多値画像を特定し、該特定した多値画像（原画像）内の画素値に基づいて、第二多値画像の画素の画素値を設定する。
【００６２】
なお、上述したように、第二多値画像画素値決定手段１０７が決定する第二多値画像の画像サイズは、第一多値画像画素値決定手段１０５が決定する第一多値画像の画像サイズと、同じ画像サイズである。
【００６３】
ステップＳ１３に続いてステップＳ１４に進み、第一多値画像未決定画素決定手段１０６は、値が設定された第一多値画像の既決画素の近傍の、値が設定されていない第一多値画像の未決画素の画素値を、該未決画素の近傍の、既決画素の画素値を用いて設定する。
【００６４】
なお、第一多値画像未決定画素決定手段１０６の第一多値画像の境界未決画素平滑化処理（ステップＳ１４の処理）の詳細は、後述する図９に示す。
【００６５】
ステップＳ１４に続いてステップＳ１５に進み、第二多値画像未決定画素決定手段１０８は、値が設定された第二多値画像の既決画素の近傍の、値が設定されていない第二多値画像の未決画素の画素値を、該未決画素の近傍の、既決画素の画素値を用いて設定する。
【００６６】
ステップＳ１５に続いてステップＳ１６に進み、符号化手段１０３は、第一、二多値画像生成手段１０４によって生成された第一多値画像と、第二多値画像と、を、第一多値画像及び第二多値画像に適した方法で圧縮符号化すると共に、二値画像生成手段１０２において生成された二値画像を、二値画像に適した方法で圧縮符号化し、処理を終了する。
【００６７】
以下、第一多値画像画素値決定手段１０５による第一多値画像の画素値決定処理の一例を、図８に示す。図８は、第一多値画像の画素値決定処理の一例を示すフローチャートである。
【００６８】
ステップＳ２０において、第一多値画像画素値決定手段１０５は、第一多値画像の画像サイズを決定する。ここで、上述したように、第一多値画像画素値決定手段１０５が決定する第一多値画像の画像サイズは、第二多値画像画素値決定手段１０７が決定する第二多値画像の画像サイズと同じサイズであり、本発明の実施例においては、原画像のサイズの二分の一（解像度が二分の一）である。
【００６９】
ステップＳ２０に続いてステップＳ２１に進み、第一多値画像画素値決定手段１０５は、第一多値画像の全画素値を同じ値（単一色）で仮に埋める。ステップＳ２１に続いてステップＳ２２に進み、第一多値画像画素値決定手段１０５は、第一多値画像の画素に対応する位置に係る二値画像を特定（決定）する。
【００７０】
ステップＳ２２に続いてステップＳ２３に進み、第一多値画像画素値決定手段１０５は、特定した二値画像内に、黒画素値が存在するか否かを判定する。第一多値画像画素値決定手段１０５は、特定した二値画像内に、黒画素が存在すると判定すると（ステップＳ２３においてＹＥＳ）、ステップＳ２４に進み、黒画素値が存在しないと判定すると（ステップＳ２３においてＮＯ）、ステップＳ２５に進む。
【００７１】
ステップＳ２４では、第一多値画像画素値決定手段１０５が、黒画素が存在する位置に対応する位置に係る多値画像を特定し、該特定した多値画像（原画像）内の画素値に基づいて、第一多値画像の画素の画素値を設定（決定）する。
【００７２】
ステップＳ２５では、第一多値画像画素値決定手段１０５が、第一多値画像の全画素に対して画素値を決定する処理を実行したか否かを判定し、実行したと判定すると（ステップＳ２５においてＹＥＳ）、第一多値画像の画素値決定処理を終了し、実行していないと判定すると（ステップＳ２５においてＮＯ）、第一多値画像の画素値決定処理の処理対象とする第一多値画像の画素を予め定められた方法に基づいてずらし、ステップＳ２２に進む。
【００７３】
以下、第一多値画像未決定画素決定手段１０６による第一多値画像の境界未決画素平滑化処理の一例を、図９に示す。図９は、第一多値画像の境界未決画素平滑化処理の一例を示すフローチャートである。
【００７４】
ステップＳ３０において、ブロック内領域設定手段１１１は、第一多値画像に対して、数画素四方のブロックサイズを設定する。例えば、ブロック内領域設定手段１１１は、初めに、ブロックサイズを２×２画素のサイズと設定する。
【００７５】
ステップＳ３０に続いてステップＳ３１に進み、ブロック内既決・未決画素計数手段１１２は、ステップＳ３０においてブロック内領域設定手段１１１が設定したブロックサイズのブロック内の既決画素及び未決画素に係る計数を実行する。
【００７６】
ステップＳ３１に続いてステップＳ３２に進み、ブロック内既決・未決画素計数手段１１２は、ステップＳ３１において実行した計数に基づいて、ステップＳ３０においてブロック内領域設定手段１１１が設定したブロックサイズのブロック内に既決画素及び未決画素が共に含まれているか否かを判定する。ブロック内既決・未決画素計数手段１１２は、ステップＳ３０においてブロック内領域設定手段１１１が設定したブロックサイズのブロック内に既決画素及び未決画素が共に含まれていると判定すると（ステップＳ３２においてＹＥＳ）、ステップＳ３３に進み、既決画素及び未決画素が共に含まれていないと判定すると（ステップＳ３２においてＮＯ）、ステップＳ３５に進む。
【００７７】
ステップＳ３３では、ブロック内既決・未決画素計数手段１１２が、ブロック内の既決画素の画素値の平均値を算出する。ステップＳ３３に続いてステップＳ３４に進み、画素値設定手段１１３は、ステップＳ３３においてブロック内既決・未決画素計数手段１１２が算出した画素値の平均値を未決画素の画素値として決定（設定）する。
【００７８】
ステップＳ３５では、第一多値画像未決定画素決定手段１０６が、ステップＳ３０においてブロック内領域設定手段１１１が設定したブロックサイズによる境界未決画素平滑化処理を第一多値画像全ての領域に対して行ったか否かを判定する。第一多値画像未決定画素決定手段１０６は、全ての領域に対して行ったと判定すると（ステップＳ３５においてＹＥＳ）、ステップＳ３６に進み、全ての領域に対して行っていないと判定すると（ステップＳ３５においてＮＯ）、ステップＳ３１に進む。
【００７９】
ステップＳ３６では、ブロック内領域設定手段１１１がブロックサイズを拡大する。ステップＳ３６に続いてステップＳ３７に進み、ブロック内領域設定手段１１１が拡大したブロックサイズが規定サイズ（例えば、８×８画素のサイズ）を超えたか否かを判定する。ブロック内領域設定手段１１１は、ブロックサイズが規定サイズを超えたと判定すると（ステップＳ３７においてＹＥＳ）、境界未決画素平滑化処理を終了し、ブロックサイズが規定サイズを超えていないと判定すると（ステップＳ３７においてＮＯ）、ステップＳ３１に進む。
【００８０】
本発明の特徴の一つは、画像処理装置１が、二値画像の境界部分の変動を抑制する処理を実行していることである。例えば、上述した境界未決画素平滑化処理が該変動を制御する処理に該当する。画像処理装置１が、二値画像の境界部分の変動を抑制することによって、ＪＰＥＧ方式等で圧縮した際の画質低下（文字の周辺部等の境界部の色変化）を抑制したり、ファイルサイズを縮小したりすることができる。
【００８１】
また、本発明の他の特徴の一つは、画像処理装置１が、第一多値画像と、第二多値画像と、を同一解像度で保持することである。例えば上述した特許文献１等では文字と非文字とを分離し、文字は単色画像で表現し、非文字は多値画像で表現しているが、このような方式では、文字と非文字とを正確に判断し、分離しないと画質に大きな影響が出る。例えば、特許文献１等の方法では、本来非文字であるべき写真の一部を非文字であると誤って判定してしまうと、該誤って判定した部分だけ単色で再現（表示）され、画像の見た目に大きな違和感を生じさせる。また、文字と非文字との判定を完全に行うのは極めて難しく、その結果、画像によっては画質の低下が著しくなり、画像処理としての安定性は高くない。
【００８２】
一方、本発明では、画像処理装置１によって、二値画像が、第一多値画像又は第二多値画像どちらで色再現されても、第一多値画像と、第二多値画像と、が同一解像度であるため、画質的の低下は抑えられ、画像処理としての安定性も高い。つまり、文字と非文字との分離をしなくても、安定した画質の画像を提供することができると共に、ファイルサイズを小さくすることができる。また、本発明では、画像処理装置１が、二値画像を、原画像と同一の解像度で保持しているため、文字の輪郭がぼやけることなく再現させることができ、文字の画質がよい。
【実施例２】
【００８３】
実施例２では、画像処理装置１の構成の他の例、及び境界既決画素の平滑化処理等について説明する。なお、実施例２では、主に実施例１と異なる点について説明を行う。
【００８４】
まず、本実施例における基本的な考え方を、図１０から図１３を用いて説明する。図１０は、本実施例における基本的な考え方を説明するための図（その１）である。また、図１１は、本実施例における基本的な考え方を説明するための図（その２）である。また、図１２は、本実施例における基本的な考え方を説明するための図（その３）である。また、図１３は、本実施例における基本的な考え方を説明するための図（その４）である。
【００８５】
図１０に示されるように、原画像において、第一多値画像の色（画素値）で再現される部分と、第二多値画像の色（画素値）で再現される部分と、は、連続的に変化している。しかし、原画像の文字部等にもし、第一多値画像の色（画素値）で再現される部分と、第二多値画像の色（画素値）で再現される部分と、の境界がきた場合には、文字を表示する際、例えば文字の一部に背景（第一多値画像又は第二多値画像）の色を混入して表示してしまったりして、文字の輪郭がぼんやりとしてしまう問題があった。
【００８６】
したがって、本実施例では、画像処理装置１において、原画像及び二値画像に基づいて、図１１に示されるように、例えば第一多値画像と、第二多値画像と、を生成した後、図１２に示されるように、色を補正することにより、図１３に示されるように、画像を再現したときに、境界部の色変化をはっきりとさせ、文字の輪郭等をくっきり表示することができる。しかし、画像処理装置１等が、文字部ではなく、写真部等なだらかな色変化のままでよい所にまで図１２に示したような補正を行うと、画像を再現した際に不自然な輪郭が現れてしまう場合もあるため、後述するように、補正する領域を選別し、補正する処理を実行する。
【００８７】
以下、画像処理装置１の構成の他の例を、図１４に示す。図１４は、画像処理装置の構成図（その２）である。
【００８８】
図１４に示されるように、画像処理装置１は、多値画像取得手段１０１と、二値画像生成手段１０２と、符号化手段１０３と、第一、二多値画像生成手段１０４と、境界画素検出手段１３１と、エッジ検出手段１３２と、画素値補正手段１３３と、を含み、第一、二多値画像生成手段１０４は、第一多値画像画素値決定手段１０５と、第一多値画像未決定画素決定手段１０６と、第二多値画像画素値決定手段１０７と、第二多値画像未決定画素決定手段１０８と、を含む。
【００８９】
境界画素検出手段１３１は、画素値が設定された既決画素の中から、画素値が設定されていない未決画素の近傍にある境界既決画素を検出する。例えば、境界画素検出手段１３１は、画素値が設定された既決画素の中から、該既決画素を中心として１画素の範囲内に未決画素がある既決画素を、境界既決画素として検出したり、画素値が設定された既決画素の中から、該既決画素を中心として２画素の範囲内に未決画素がある既決画素を、境界既決画素として検出したりする。なお、以下では説明の簡略化のため、境界画素検出手段１３１は、既決画素を中心として１画素の範囲内に未決画素がある既決画素を、境界既決画素として検出するものとして説明を行う。
【００９０】
エッジ検出手段１３２は、境界既決画素に、例えば、
１  １  １      −１  ０  １
０  ０  ０      −１  ０  １
−１−１−１      −１  ０  １
等の２つのエッジ検出ファイルター（又は空間フィルター）を施し、得られたフィルター値の２乗和を求め、該フィルター値の２乗和が、予め定められた値より大きい場合にエッジであると判定し、エッジを検出する。なお、エッジ検出手段１３２は、原画像（第一多値画像及び／又は第二多値画像）がカラー画像である場合は、色成分毎にエッジ検出ファイルターを施し、エッジを検出する。
【００９１】
なお、後述する図１５等に示されるように、例えばエッジ検出フィルターを施される第一多値画像（第二多値画像）の画素値が未決画素である場合は、エッジ検出手段１３２は、対応する位置の第二多値画像（第一多値画像）の画素値を用いてフィルター値を求める。また、エッジ検出手段１３２は、第一多値画像及び／又は第二多値画像の境界既決画素に対して、エッジ検出処理を行うよう説明を行ったが、対応する原画像に対してエッジ検出処理を行うようにしてもよい。但し、以下では説明の簡略化のため、エッジ検出手段１３２は、第一多値画像及び／又は第二多値画像の境界既決画素に対して、エッジ検出処理を行うものとする。
【００９２】
画素値補正手段１３３は、エッジとして検出された境界既決画素の画素値を、未決画素の近傍にない、つまり境界既決画素でない既決画素の画素値を用いて補正する。なお、画素値補正手段１３３は、エッジとして検出された境界既決画素の画素値を、未決画素の近傍にない既決画素の画素値と、境界既決画素の画素値と、の平均値で補正するようにしてもよい。但し、以下では説明の簡略化のため、画素値補正手段１３３は、エッジとして検出された境界既決画素の画素値を、未決画素の近傍にない既決画素の画素値を用いて補正するものとして説明を行う。
【００９３】
以下、エッジ検出手段１３２におけるエッジ検出の一例の概念を、図１５に示す。図１５は、エッジ検出の一例を示す概念図である。
【００９４】
図１５に示されるように、エッジ検出手段１３２は、境界既決画素（図１５の例では、第一多値画像の画素ｅ）に対して、例えばエッジ検出フィルターの一つである
−１  ０  １
−１  ０  １
−１  ０  １
をまず施し、フィルター値（図１５の例では、−ａ＋Ｃ−ｄ＋Ｆ−ｇ＋ｉ）を得る。
【００９５】
なお、図１５において、大文字の英字は、第二多値画像における既決画素と該既決画素の画素値を表し、小文字の英字は、第一多値画像における既決画素と該既決画素の画素値を表し、「×」は、未決画素を表している。
【００９６】
また、エッジ検出手段１３２は、上述したように、境界既決画素（例えば、第一多値画像の画素ｅ）に対して、エッジ検出フィルターのもう一方である
１  １  １
０  ０  ０
−１−１−１
を施し、フィルター値（例えば、ａ＋ｂ＋Ｃ−ｇ−ｈ−ｉ）を得る。
【００９７】
エッジ検出手段１３２は、得られたフィルター値の２乗和を求め、該フィルター値の２乗和が、予め定められた値より大きい場合にエッジであると判定し、エッジを検出する。
【００９８】
エッジ検出手段１３２によってエッジを検出し、該検出したエッジの部分にだけ、画素値補正手段１３３における画素値の補正を行うことによって、なだらかな色変化のままでよい所は、なだらかな色変化のままで、境界部の色変化をはっきりとさせたい所は、はっきりとした色変化をさせるようにすることができる。
【００９９】
以下、画素値補正手段１３３における画素値の補正（置き換え）の一例の概念を、図１６に示す。図１６は、画素値の補正（置き換え）の一例の概念図である。
【０１００】
図１６に示されるように、画素値補正手段１３３は、エッジ検出された境界既決画素の画素値を、未決画素の近傍にない、つまり境界既決画素でない既決画素の画素値を用いて、置き換えて、補正する。
【０１０１】
画素値補正手段１３３によって画素値の補正を行うことによって、図１２及び図１３に示したように、画像を再現したときに、境界部の色変化をはっきりとさせ、文字の輪郭等をくっきり表示するようにすることができる。
【０１０２】
以下、フローチャートを用いて実施例２における処理を説明する。図１７は、画像処理装置における画像処理を示すフローチャート（その２）である。
【０１０３】
なお、図１７に示される、ステップＳ４０からステップＳ４３は、図７に示したステップＳ１０からステップＳ１３の処理と同様であるため、説明を省略する。また、図１７に示されるステップＳ４６からステップＳ４８の処理は、図７に示したステップＳ１４からステップＳ１６の処理と同様であるため、説明を省略する。
【０１０４】
ステップＳ４４では、境界画素検出手段１３１、エッジ検出手段１３２、画素値補正手段１３３が、第一多値画像に対して、上述したような境界既決画素の平滑化処理を実行する。なお、境界画素検出手段１３１、エッジ検出手段１３２、画素値補正手段１３３による第一多値画像に対する境界既決画素の平滑化処理（ステップＳ４４の処理）の詳細は、後述する図１８に示す。
【０１０５】
ステップＳ４４に続いてステップＳ４５では、境界画素検出手段１３１、エッジ検出手段１３２、画素値補正手段１３３が、第二多値画像に対して、上述したような境界既決画素の平滑化処理を実行する。
【０１０６】
以下、境界画素検出手段１３１、エッジ検出手段１３２、画素値補正手段１３３による第一多値画像に対する境界既決画素の平滑化処理の一例を、図１８に示す。図１８は、第一多値画像に対する境界既決画素の平滑化処理の一例を示すフローチャートである。
【０１０７】
ステップＳ５０において、境界画素検出手段１３１は、第一多値画像において、画素値が設定された既決画素の中から、画素値が設定されていない未決画素の近傍にある境界既決画素を検出する。
【０１０８】
ステップＳ５０に続いてステップＳ５１に進み、エッジ検出手段１３２は、ステップＳ５０において検出した境界既決画素に対してエッジ検出ファイルターを施し、得られたフィルター値の２乗和を求める。
【０１０９】
ステップＳ５１に続いてステップＳ５２に進み、エッジ検出手段１３２は、ステップＳ５１において求めたフィルター値の２乗和が予め定められた値より大きいか否かに応じて、ステップＳ５０において検出した境界既決画素がエッジか否かを判定する。エッジ検出手段１３２は、ステップＳ５０において検出した境界既決画素がエッジであると判定すると（ステップＳ５２においてＹＥＳ）、ステップＳ５３に進み、ステップＳ５０において検出した境界既決画素がエッジでないと判定すると（ステップＳ５２においてＮＯ）、ステップＳ５５に進む。
【０１１０】
ステップＳ５３では、画素値補正手段１３３が、未決画素の近傍にない、つまり境界既決画素でない既決画素（境界外既決画素）を探索する。ステップＳ５３に続いてステップＳ５４に進み、画素値補正手段１３３は、ステップＳ５２においてエッジであると判定された境界既決画素の画素値を、ステップＳ５３において探索し、検出した境界外既決画素の画素値で置き換える。
【０１１１】
ステップＳ５４に続いてステップＳ５５に進み、画像処理装置１は、第一多値画像の全領域に対して境界既決画素平滑化処理を実行したか否かを判定し、実行したと判定すると（ステップＳ５５においてＹＥＳ）、境界既決画素平滑化処理を終了し、実行していないと判定すると（ステップＳ５５においてＮＯ）、境界既決画素平滑化処理の処理対象とする第一多値画像の領域を予め定められた方法に基づいてずらし、ステップＳ５０に進む。
【０１１２】
上述したような境界既決画素平滑化処理を行うことによって、エッジ部付近の画素変化がなだらかになり、圧縮符号化の際の圧縮効率もよくなる。また、境界既決画素平滑化処理を行うことによって、ファイルサイズの削減にも役立つ。なお、例えば図１８に示した処理において、ステップＳ５１やステップＳ５２等の処理を行わず、境界付近の既決画素の画素値を、境界外の既決画素の画素値で置き換えるような境界既決画素平滑化処理を行ってもよい。このように、エッジ検出を行わない境界既決画素平滑化処理では、ファイルサイズは更に小さくなるが、元々の原画像において色変化の少ない境界部の色変化が強調されて再現されるため、画質が原画像と比べて若干変化することがある。
【０１１３】
実施例２に示したような処理を行うことによって、第一多値画像と第二多値画像との境界部のうち、文字部等の境界部で画素値が急激に変化している場合には、境界部に混ざりこむ色の影響を低減させることにより（例えば図１２参照）、文字の輪郭をくっきりと再現させることができる（例えば図１３参照）。また、第一多値画像と第二多値画像との境界部のうち、写真部等でなだらかに画素値が変化している場合には、画素値の置換（又は平均化）の処理を行わず、滑らかな色変化をそのまま再現することができる。
【実施例３】
【０１１４】
上述した実施例では、主に、原画像（又は多値画像）を、３層（第一多値画像と、第二多値画像と、二値画像と、）に分離し、それぞれに対して圧縮符号化する処理及び構成等について説明をしたが、実施例３では、画像の再現に係る処理及び構成について主に説明を行う。
【０１１５】
図１９は、画像処理装置の構成図（その３）である。なお、図１９に示される画像処理装置１の構成は、実施例１の図２に示した画像処理装置１の構成又は実施例２の図１４に示した画像処理装置１の構成等に対して、更に加えられる（含まれる）構成である。
【０１１６】
図１９に示されるように、画像処理装置１は、第一多値画像伸長手段１４１と、第二多値画像伸長手段１４２と、二値画像伸長手段１４３と、二値画像画素値判定手段１４４と、対応画素値決定手段１４５と、を含む。
【０１１７】
第一多値画像伸長手段１４１は、第一、二多値画像生成手段１０４で生成され、符号化手段１０３において符号化された第一多値画像を、復号化（伸長）する。
【０１１８】
第二多値画像伸長手段１４２は、第一、二多値画像生成手段１０４で生成され、符号化手段１０３において符号化された第二多値画像を、復号化（伸長）する。
【０１１９】
二値画像伸長手段１４３は、二値画像生成手段１０２で生成され、符号化手段１０３において符号化された二値画像を、復号化（伸長）する。
【０１２０】
二値画像画素値判定手段１４４は、二値画像伸長手段１４３において復号化された二値画像の各画素値が白か黒かを判定し、判定結果を対応画素値決定手段１４５に渡す。
【０１２１】
対応画素値決定手段１４５は、二値画像画素値判定手段１４４から受け取った判定結果に基づいて、二値画像の画素の位置に対応する位置の、第一多値画像伸長手段１４１において復号化された第一多値画像の画素値又は第二多値画像伸長手段１４２において復号化された第二多値画像の画素値を、前記二値画像の画素の画素値として決定し、表示する。例えば、対応画素値決定手段１４５は、二値画像画素値判定手段１４４から受け取った判定結果が黒だった場合、二値画像の画素の位置に対応する位置の、第一多値画像伸長手段１４１において復号化された第一多値画像の画素値を、前記二値画像の画素の画素値として決定し、表示する。
【０１２２】
画像処理装置１は、上述した処理を二値画像の全ての画素に対して行い、画像を再現（表示）する。
【実施例４】
【０１２３】
上述した実施例では、例えば、実施例１の図２、図５、実施例２の図１４、実施例３の図１９等に示したように、本発明に係る画像処理装置１の各構成を、ＩＣ等のハードウェアで実装した場合の例を示したが、本実施例では、上述した各構成を、ソフトウェアとして画像処理装置１（又は情報処理装置）に実装した場合の例を示す。
【０１２４】
図２０は、画像処理装置の構成図（その４）である。図２０に示されるように、画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４０１と、メモリ４０２と、ハードディスク４０３と、入力・表示装置４０４と、ドライブ装置４０５と、インターフェース装置４０６と、読み取り装置４０８と、印刷装置４０９と、を含む。
【０１２５】
入力・表示装置４０４は、操作パネル等で構成され、画像処理装置１に各種操作信号等を入力したり、画像処理装置１が各種情報を表示したりするのに用いられる。インターフェース装置４０６は、画像処理装置１をネットワーク等に接続するインターフェースである。
【０１２６】
上述した実施例における画像処理装置１の各機能構成又は各処理に対応するプログラム（以下、画像処理プログラムという）等は、初めから画像処理装置１にインストールされているか、例えばＳＤメモリーカード等の記録媒体４０７によって画像処理装置１に提供されるか、ネットワークを通じてダウンロードされる。記録媒体４０７は、ドライブ装置４０５にセットされ、画像処理プログラムが記録媒体４０７からドライブ装置４０５を介してハードディスク４０３にインストールされる。
【０１２７】
メモリ４０２は、例えば画像処理装置１の起動時にハードディスク４０３から画像処理プログラム等を読み出して格納する。ＣＰＵ４０１は、メモリ４０２に読み出され格納された画像処理プログラム等に従って処理を実行し、画像処理の処理結果をハードディスク４０３に格納したり、必要に応じて入力・表示装置４０４に表示させたり、印刷装置４０８に印刷させたりする。
【０１２８】
ハードディスク４０３は、画像処理の処理結果や、画像に係るデータ、画像処理プログラム等を格納する。読み取り装置４０８は、例えばスキャナー等であって、セットされた紙等を読み込んで、画像データ等をハードディスク４０３に格納する。また、印刷装置４０９は、上述したように、例えば画像処理の処理結果を要求に応じて印刷する。
【０１２９】
なお、上述した画像処理プログラムをＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の情報処理装置に実装（又はインストール）し、上述したような画像処理を情報処理装置に行わせるようにしてもよい。なお、画像処理プログラムをＰＣに実装した場合、例えば図２０に示した入力・表示装置４０４は、入力装置と、表示装置と、に分かれた構成となり、例えば入力装置は、キーボードとマウス等で構成され、表示装置は、ディスプレイ等で構成される。また、当然情報処理装置には読み取り装置４０８や印刷装置４０９は、構成として含まれない。
【０１３０】
ＰＣに実装された画像処理プログラムは、例えばＰＣのユーザ等が入力装置等を用いて作成し、ハードディスク４０３等に格納した原画像を処理対象とし、処理結果をディスプレイ等に表示する。
【０１３１】
上述したように、本発明によれば、文字と非文字との判定を行うことなく、ファイルサイズを小さくすることができる。また、本発明によれば、境界部の色変化を抑制することができる。また、本発明によれば、文字等の輪郭を明りょうに再現しつつ、ファイルサイズを小さくすることができる。
【０１３２】
本発明によれば、文字と非文字との判定を行うことなく、画質劣化を抑制し、効率よくファイルサイズを小さくすることができる。
【０１３３】
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【０１３４】
【図１】本実施例における基本的な処理を示す概念図である。
【図２】画像処理装置の構成図（その１）である。
【図３】第一多値画像の１画素に相当する二値画像及び原画像の位置の一例を示す図である。
【図４】第一多値画像の画素値の計算の一例を示す概念図である。
【図５】第一多値画像未決定画素決定手段の構成図である。
【図６】ブロック内平均による境界未決画素の平滑化の一例を示す図である。
【図７】画像処理装置における画像処理を示すフローチャート（その１）である。
【図８】第一多値画像の画素値決定処理の一例を示すフローチャートである。
【図９】第一多値画像の境界未決画素平滑化処理の一例を示すフローチャートである。
【図１０】本実施例における基本的な考え方を説明するための図（その１）である。
【図１１】本実施例における基本的な考え方を説明するための図（その２）である。
【図１２】本実施例における基本的な考え方を説明するための図（その３）である。
【図１３】本実施例における基本的な考え方を説明するための図（その４）である。
【図１４】画像処理装置の構成図（その２）である。
【図１５】エッジ検出の一例を示す概念図である。
【図１６】画素値の補正（置き換え）の一例の概念図である。
【図１７】画像処理装置における画像処理を示すフローチャート（その２）である。
【図１８】第一多値画像に対する境界既決画素の平滑化処理の一例を示すフローチャートである。
【図１９】画像処理装置の構成図（その３）である。
【図２０】画像処理装置の構成図（その４）である。
【符号の説明】
【０１３５】
１        画像処理装置
１０１    多値画像取得手段
１０２    二値画像取得手段
１０３    符号化手段
１０４    第一、二多値画像生成手段
１０５    第一多値画像画素値決定手段
１０６    第一多値画像未決定画素決定手段
１０７    第二多値画像画素値決定手段
１０８    第二多値画像未決定画素決定手段
１１１    ブロック内領域設定手段
１１２    ブロック内既決・未決画素計数手段
１１３    画素値設定手段
１３１    境界画素検出手段
１３２    エッジ検出手段
１３３    画素値補正手段
１４１    第一画像伸長手段
１４２    第二画像伸長手段
１４３    二値画像伸長手段
１４４    二値画像画素値吟味手段
１４５    対応画素値決定手段
４０１    ＣＰＵ
４０２    メモリ
４０３    ハードディスク
４０４    入力・表示装置
４０５    ドライブ装置
４０６    インターフェース装置
４０７    記録媒体
４０８    読み取り装置
４０９    印刷装置
【図１】
2006166355.tif 000003
【図２】
2006166355.tif 000004
【図３】
2006166355.tif 000005
【図４】
2006166355.tif 000006
【図５】
2006166355.tif 000007
【図６】
2006166355.tif 000008
【図７】
2006166355.tif 000009
【図８】
2006166355.tif 000010
【図９】
2006166355.tif 000011
【図１０】
2006166355.tif 000012
【図１１】
2006166355.tif 000013
【図１２】
2006166355.tif 000014
【図１３】
2006166355.tif 000015
【図１４】
2006166355.tif 000016
【図１５】
2006166355.tif 000017
【図１６】
2006166355.tif 000018
【図１７】
2006166355.tif 000019
【図１８】
2006166355.tif 000020
【図１９】
2006166355.tif 000021
【図２０】
2006166355.tif 000022