(57)【特許請求の範囲】
【請求項１】
画像データを符号化する画像符号化装置であって、
符号化対象の多値画像データと、当該多値画像データを構成する各画素の属性データを入力する入力手段と、
入力した多値画像データに基づき、当該多値画像データ中の文字線画を含む領域を前景画像領域として判定する判定手段と、
該判定手段で判定した前景画像領域内の多値画像データから、文字線画を構成する文字線画画素、当該文字線画画素以外の非文字線画画素の２値表現の前景画像データを生成する前景画像生成手段と、
該前景画像生成手段で生成された前景画像データを可逆符号化する第１符号化手段と、
前記前景画像生成手段で生成された前景画像データに基づき、前記入力手段で入力した前記多値画像データ中の前記文字線画画素の位置にある多値画素の値を、前記非文字線画画素の位置にある多値画素の値を参照して算出した置換値で置換することで、多値の背景画像データを生成する背景画像生成手段と、
該背景画像生成手段で生成された背景画像データを、周波数変換、量子化を行なって非可逆符号化する第２符号化手段と、
前記判定手段で得られた前記前景画像領域内の画素に対する属性データについては、予め設定された値でマスクし、前記前景画像領域外の画素に対する属性データについては当該属性データを維持するマスク手段と、
該マスク手段によるマスク処理後の属性データを可逆符号化する第３符号化手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
更に、前景画像生成手段で生成された前記前景画像領域内の文字線画画素に隣接する非文字線画画素を、文字線画画素を示す値に変換する変換手段とを備え、
前記背景画像生成手段は、前記変換手段で変換後の前景画像データを用いて前記背景画像データを生成することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記前景画像生成手段は、前記前景画像データを生成した際、文字画像のエッジよりも内側の位置の画素位置に対応する前記多値画像データの画素値から、文字の色を検出し、検出した色の平均値を文字線画の色情報として抽出する抽出手段を含み、
前記第１符号化手段は、前記前景画像データの符号化データと共に、前記抽出手段で抽出した色情報を出力することを特徴とする請求項１又は２に記載の画像符号化装置。
【請求項４】
請求項３に記載の画像符号化装置から出力された符号化データを復号して画像データを生成し、前記画像データを出力する画像処理装置であって、
前景画像データの符号化データを復号する第１復号手段と、
背景画像データの符号化データを復号する第２復号手段と、
属性情報の符号化データを復号する第３復号手段と、
該第３復号手段で復号して得られた属性情報に従って、前記第２復号手段で復号して得られた背景画像データにおける各画素データに対し、文字線画用、非文字線画用のいずれか一方の画像処理を実行する画像処理手段と、
前記第１復号手段で生成された前景画像データで示される前景画像領域情報、当該前景画像領域情報で示される前景画像領域内の文字線画、非文字線画を識別するための２値データ、及び、前記文字線画の色情報とに基づき、前記画像処理手段で得られた画像データ中の着目画素が非文字線画画素である場合には前記着目画素の画素値を出力し、前記着目画素が文字線画の画素である場合には、前記着目画素の画素値に代えて前記着目画素を包含する前景画像領域の文字線画の色情報を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項５】
前記第３復号手段は、前記第１復号手段で復号して得られた前記前景画像データで示される前景画像領域情報と前記２値データに基づき、復号して得られた着目画素の属性情報が非文字線画を示し、且つ、前記２値データによる着目画素が文字線画を示す場合、前記着目画素の属性情報を文字線画を示す属性情報に変更する変更手段を含むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
請求項３に記載の画像符号化装置から出力された符号化データを復号して画像データを生成し、前記画像データを出力する画像処理装置であって、
前景画像データの符号化データを復号する第１復号手段と、
背景画像データの符号化データを復号する第２復号手段と、
属性情報の符号化データを復号する第３復号手段と、
該第３復号手段で復号して得られた属性情報に従って、前記第２復号手段で復号して得られた背景画像データにおける各画素データに対し、文字線画用、非文字線画用のいずれか一方の画像処理を実行する画像処理手段と、
前記第１復号手段で生成された前景画像データで示される前景画像領域情報、当該前景画像領域情報で示される前景画像領域内の文字線画、非文字線画を識別するための２値データ、及び、前記文字線画の色情報とに基づき、前記画像処理手段で得られた画像データ中の着目画素が非文字線画画素である場合には前記着目画素の画素値を出力し、前記着目画素が文字線画の画素である場合には、前記着目画素の画素値に代えて前記着目画素を包含する前景画像領域の文字線画の色情報を出力する合成手段と
を備えることを特徴とする画像処理装置。
【請求項７】
請求項３に記載の画像符号化装置から出力された符号化データを復号して画像データを生成し、前記画像データを出力する画像処理装置であって、
前景画像データの符号化データを復号する第１復号手段と、
背景画像データの符号化データを復号する第２復号手段と、
属性情報の符号化データを復号する第３復号手段と、
前記第１復号手段で生成された前景画像データで示される前景画像領域情報、当該前景画像領域情報で示される前景画像領域内の文字線画、非文字線画を識別するための２値データ、及び、前記文字線画の色情報とに基づき、前記第２復号手段で得られた背景画像データにおける着目画素が非文字線画画素である場合には前記着目画素の画素値を出力し、前記着目画素が文字線画の画素である場合には、前記着目画素の画素値を、当該着目画素を包含する前景画像領域の文字線画の色情報で置換し、出力する合成手段と、
前記第１復号手段で生成された前景画像データで示される前景画像領域情報、当該前景画像領域情報で示される前景画像領域内の文字線画、非文字線画を識別するための２値データ、及び、前記文字線画の色情報とに基づき、着目画素に対する前記２値データが文字線画の画素を示す場合、前記着目画素が文字線画を示す画素を示す属性情報を出力し、前記着目画素の２値データが非文字線画の画素を示す場合、前記第３復号手段で得られた着目画素の属性情報を出力する変更手段と、
該変更手段で得られた属性情報に従って、前記合成手段で得られた画像データ中の各画素データに対し、文字線画用、非文字線画用のいずれか一方の画像処理を実行し、出力する画像処理手段と
を備えることを特徴とする画像処理装置。
【請求項８】
画像データを符号化する画像符号化装置の制御方法であって、
符号化対象の多値画像データと、当該多値画像データを構成する各画素の属性データを入力する入力工程と、
入力した多値画像データに基づき、当該多値画像データ中の文字線画を含む領域を前景画像領域として判定する判定工程と、
該判定工程で判定した前景画像領域内の多値画像データから、文字線画を構成する文字線画画素、当該文字線画画素以外の非文字線画画素の２値表現の前景画像データを生成する前景画像生成工程と、
該前景画像生成工程で生成された前景画像データを可逆符号化する第１符号化工程と、
前記前景画像生成工程で生成された前景画像データに基づき、前記入力工程で入力した前記多値画像データ中の前記文字線画画素の位置にある多値画素の値を、前記非文字線画画素の位置にある多値画素の値を参照して算出した置換値で置換することで、多値の背景画像データを生成する背景画像生成工程と、
該背景画像生成工程で生成された背景画像データを、周波数変換、量子化を行なって非可逆符号化する第２符号化工程と、
前記判定工程で得られた前記前景画像領域内の画素に対する属性データについては、予め設定された値でマスクし、前記前景画像領域外の画素に対する属性データについては当該属性データを維持するマスク工程と、
該マスク工程によるマスク処理後の属性データを可逆符号化する第３符号化工程と
を備えることを特徴とする画像符号化装置の制御方法。
【請求項９】
更に、前景画像生成工程で生成された前記前景画像領域内の文字線画画素に隣接する非文字線画画素を、文字線画画素を示す値に変換する変換工程とを備え、
前記背景画像生成工程は、前記変換工程で変換後の前景画像データを用いて前記背景画像データを生成することを特徴とする請求項８に記載の画像符号化装置の制御方法。
【請求項１０】
前記前景画像生成工程は、前記前景画像データを生成した際、文字画像のエッジよりも内側の位置の画素位置に対応する前記多値画像データの画素値から、文字の色を検出し、検出した色の平均値を文字線画の色情報として抽出する抽出工程を含み、
前記第１符号化工程は、前記前景画像データの符号化データと共に、前記抽出工程で抽出した色情報を出力することを特徴とする請求項８又は９に記載の画像符号化装置の制御方法。
【請求項１１】
コンピュータに読込ませ実行させることで、前記コンピュータを、請求項１乃至３のいずれか１項に記載の画像符号化装置として機能させることを特徴とするコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
【請求項１３】
請求項３に記載の画像符号化装置から出力された符号化データを復号して画像データを生成し、前記画像データを出力する画像処理装置の制御方法であって、
前景画像データの符号化データを復号する第１復号工程と、
背景画像データの符号化データを復号する第２復号工程と、
属性情報の符号化データを復号する第３復号工程と、
該第３復号工程で復号して得られた属性情報に従って、前記第２復号工程で復号して得られた背景画像データにおける各画素データに対し、文字線画用、非文字線画用のいずれか一方の画像処理を実行する画像処理工程と、
前記第１復号工程で生成された前景画像データで示される前景画像領域情報、当該前景画像領域情報で示される前景画像領域内の文字線画、非文字線画を識別するための２値データ、及び、前記文字線画の色情報とに基づき、前記画像処理工程で得られた画像データ中の着目画素が非文字線画画素である場合には前記着目画素の画素値を出力し、前記着目画素が文字線画の画素である場合には、前記着目画素の画素値に代えて前記着目画素を包含する前景画像領域の文字線画の色情報を出力する出力工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項１４】
前記第３復号工程は、前記第１復号工程で復号して得られた前記前景画像データで示される前景画像領域情報と前記２値データに基づき、復号して得られた着目画素の属性情報が非文字線画を示し、且つ、前記２値データによる着目画素が文字線画を示す場合、前記着目画素の属性情報を文字線画を示す属性情報に変更する変更工程を含むことを特徴とする請求項１３に記載の画像処理装置の制御方法。
【請求項１５】
請求項３に記載の画像符号化装置から出力された符号化データを復号して画像データを生成し、前記画像データを出力する画像処理装置であって、
前景画像データの符号化データを復号する第１復号工程と、
背景画像データの符号化データを復号する第２復号工程と、
属性情報の符号化データを復号する第３復号工程と、
該第３復号工程で復号して得られた属性情報に従って、前記第２復号工程で復号して得られた背景画像データにおける各画素データに対し、文字線画用、非文字線画用のいずれか一方の画像処理を実行する画像処理工程と、
前記第１復号工程で生成された前景画像データで示される前景画像領域情報、当該前景画像領域情報で示される前景画像領域内の文字線画、非文字線画を識別するための２値データ、及び、前記文字線画の色情報とに基づき、前記画像処理工程で得られた画像データ中の着目画素が非文字線画画素である場合には前記着目画素の画素値を出力し、前記着目画素が文字線画の画素である場合には、前記着目画素の画素値に代えて前記着目画素を包含する前景画像領域の文字線画の色情報を出力する合成工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項１６】
コンピュータに読込ませ実行させることで、前記コンピュータを、請求項４乃至７のいずれか１項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項１７】
請求項１６に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを符号化する技術に関するものである。
【背景技術】
【０００２】
従来、スキャンして得られた画像に対して像域分離処理を行い、画素毎に文字領域の画素か写真領域の画素かを示す属性マップ情報を生成し、この属性マップ情報に応じて画像処理のパラメータを設定する技術が知られている（特許文献１参照）。
【０００３】
この方法では、文字画素なら“１”を、写真画素なら“０”の１ビットの信号として出力する。この結果、文字画素ではエッジ強調などを行って文字部分の鮮鋭化を行ない、写真画素ではスムージング処理を行うことによって、それぞれの属性に応じた良好な出力画像を得ることが可能となる。
【０００４】
また、混在画像の符号化における画像劣化を防ぐために、例えば、特許文献２は、次の方法を開示する。まず、文字画像の領域（以下、文字領域）と写真画像の領域（以下、写真領域）を分離して文字領域に対しては、ＭＭＲなどの２値の可逆符号化処理を行い、文字領域以外の領域にＪＰＥＧ符号化を行うことで、高圧縮符号化しても画質劣化の抑制される。
【特許文献１】特開２００６−１４０９７０号公報
【特許文献２】特開２００２−０７７６３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記方法では、画像の領域毎に適した画像処理を施すために画素毎の属性データを何ビットか用意しなければならない。このため、属性データのデータ量の増大が問題となる。また、領域を分離して符号化を行う場合に、文字領域以外の領域に対して、エッジ強調のような文字処理を行わないので、誤判定が発生した場合、良好な画質の出力画像が得られないこともある。
【０００６】
本発明は、属性データのデータ量を更に削減しつつ、出力画像の画質を更に向上させる符号化技術を提供しようとするものである。
【課題を解決するための手段】
【０００７】
この課題を解決するため、たとえば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像データを符号化する画像符号化装置であって、
符号化対象の多値画像データと、当該多値画像データを構成する各画素の属性データを入力する入力手段と、
入力した多値画像データに基づき、当該多値画像データ中の文字線画を含む領域を前景画像領域として判定する判定手段と、
該判定手段で判定した前景画像領域内の多値画像データから、文字線画を構成する文字線画画素、当該文字線画画素以外の非文字線画画素の２値表現の前景画像データを生成する前景画像生成手段と、
該前景画像生成手段で生成された前景画像データを可逆符号化する第１符号化手段と、
前記前景画像生成手段で生成された前景画像データに基づき、前記入力手段で入力した前記多値画像データ中の前記文字線画画素の位置にある多値画素の値を、前記非文字線画画素の位置にある多値画素の値を参照して算出した置換値で置換することで、多値の背景画像データを生成する背景画像生成手段と、
該背景画像生成手段で生成された背景画像データを、周波数変換、量子化を行なって非可逆符号化する第２符号化手段と、
前記判定手段で得られた前記文字線画領域内の画素に対する属性データについては、予め設定された値でマスクし、前記文字線画領域外の画素に対する属性データについては当該属性データを維持するマスク手段と、
該マスク手段によるマスク処理後の属性データを可逆符号化する第３符号化手段とを備える。
【発明の効果】
【０００８】
本発明の構成によれば、属性データのデータ量を更に削減しつつ、出力画像の画質を更に向上させ得る符号化が可能になる。
【発明を実施するための最良の形態】
【０００９】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１０】
［第１の実施形態］
実施形態では、複合機に適用した例を説明する。図１は、本実施形態に係る複合機のブロック構成図である。本装置は、大別すると、画像データ入力部１０１、符号化処理を行なう入力画像処理部１００、ハードディスク装置等の格納部１０９、復号処理を行なう出力画像処理部１１０、プリンタエンジン制御部に代表される画像データ出力部１１６で構成される。ここで入力画像処理部１００が、本発明の画像符号化装置に対応することになる点に注意されたい。
【００１１】
本実施形態における装置の概ねの処理は次の通りである。
【００１２】
画像データ入力部１０１は、印刷すべき画像データが存在する限り、それぞれの画像データと後述する属性データを順次、入力画像処理部１００に出力する。そして、入力画像データ処理部１００は、入力した画像データ及び属性データを圧縮符号化し、格納１０９に順次格納していく。
【００１３】
一方、出力画像処理部１１０は、格納部１０９に格納された画像データ及びその属性データを、画像データ出力部１１６の印刷速度に従って読出し、復号処理し、画像データ出力部１１６に出力する処理を行なう。つまり、格納部１０９は、入力画像処理部１００と出力画像処理部１１０の間に位置するバッファとして機能することになる。このため、画像データ入力部１０１及び入力画像データ処理部１００は、印刷速度に依存しないで、高速に処理することが可能となっている。
【００１４】
以下、実施形態における各処理部について更に詳しく説明する。
【００１５】
画像データ入力部１０１は、原稿画像を読取るスキャナ部、及び、ネットワークから受信した印刷データからビットマップイメージデータを生成するレンダリング部（いずれも不図示）に接続されている。そして、いずれかより、１画素を構成するＲ，Ｇ，Ｂが８ビットで表わされるカラー画像データを入力し、各画素毎の属性判定を行ない、そのカラー画像データと各画素の属性データを出力する。なお、レンダリング部は、印刷データを解析にしてビットマップイメージデータを生成することになるので、各画素がどのような属性を持つかをレンダリング処理中に判定できる。従って、レンダリング部がレンダリングする場合には、属性の判定は容易であることが理解できよう。
【００１６】
ここで属性データについて説明する。属性データは、原稿画像に含まれる画像の特徴に応じて最適な画像処理を施すための信号（以下、フラグデータとも言う）を言う。例えばイメージスキャナで読み取られた画像の場合、原稿画像中には連続階調のフルカラーの写真領域や、黒一色の文字領域、あるいは新聞印刷のような網点印刷領域など、様々な画像領域が混在しているのが普通である。これらに対して一律に同一の画像処理を行なってしまうと、その出力画像は好ましい画質とはならないことがある。そこで、一般にはカラー画像データを印刷する際には、文字線画の属性を持つ画素についてエッジ強調処理や、単一記録色成分のみを用いて印刷する等を行なう。また、自然画等の非文字線画の属性を持つ画像データについはスムージング処理を行なうことで、階調性に優れた画像を形成することが行われる。
【００１７】
なお、画素毎の属性の判定にかかる技術としては、例えば特開２００４−３５０２４０号公報を上げることができる。この文献には、画像データをラスタースキャン順に順次着目し、着目画素近傍の一定範囲の画素群、例えば７×７画素領域についてラプラシアンフィルタを用いたフィルタ変換処理を行う。そして、その変換後の着目画素値が一定値を越えていれば、その画素はエッジを構成するものと判定する。文字検出用であれば、文字は主として線から構成されているので、一定方向について比較的低周波に対応したフィルタを用いることで、文字領域を効率的に検出することができる。そして、着目画素近傍の一定領域内に、文字のエッジであると判定された画素が一定数以上含まれていれば、着目画素は文字領域の画素として判定する。当然、文字属性以外にも網点属性や図形属性など、画像処理に応じてあらゆる属性データが生成される。本実施形態では、属性データを生成は、上記の技術を採用するものとして説明するが、勿論、これ以外であっても構わない。
【００１８】
さて、本実施形態における画像データ入力部１０１は、上記の通り、カラー画像データ及び各画素毎の属性データを入力画像処理部１００に出力する。ここで実施形態における属性データ“１”は対象とする画素が文字線画画素であることを示し、“０”は文字線画画素以外の非文字線画画素（自然画等の背景画像の画素）を示すものとして説明する。属性データは“０”、“１”のいずれかであるので、１画素の属性データは１ビットで良い。なお、画素毎の属性としては、これ以外にも有彩色／無彩色の識別ビット、原稿画像を読取ったのか、印刷データに基づいてレンダリングしたのか等の識別ビット等を含む多ビットとしても良い。但し、実施形態では、説明を簡単なものとするため、上記の通り属性データは１画素につき、文字線画、自然画等の非文字線画を示す１ビットとして説明する。
【００１９】
従って、図２（ａ）に示す画像データ（多値のカラー画像データ）の場合、その属性データを視覚的に示すと、図２（ｂ）のようになる。図示の黒い部分が“０”、白い部分が“１”の属性を持つことを示している。
【００２０】
なお、画素毎の属性データは、上記で説明したように本実施形態では文字領域を示す情報としたが、文字エッジか否かを示すような情報であっても構わない。
【００２１】
次に、本実施形態における入力画像処理部１００について説明する。この入力画像処理部１００は、画像データ入力部１０１からの画像データ及び属性データを効率良く符号化することを目的とする処理部として機能する。
【００２２】
入力画像処理部１００は、上記の通り、画像データ入力部１０１から、カラー画像データと、各画素毎の属性データを入力する。入力するカラー画像データの入力順序はラスタースキャン順とする。また、各画素を構成する色成分Ｒ，Ｇ，Ｂ（各８ビット＝２５６階調）は、その順番に入力されるものとする。Ｒ，Ｇ，Ｂをそれぞれ成分番号０，１，２と定義し、画像の左上隅を座標（０，０）として水平右方向画素位置ｘ、垂直下方向画素位置ｙにある画素の成分番号Ｃの値をＰ（ｘ，ｙ，Ｃ）と表すこととする。例えば、位置（ｘ，ｙ）＝（３，４）である画素が（Ｒ，Ｇ，Ｂ）＝（２５５，１２８，０）という値を持つ場合、Ｐ（３，４，０）＝２５５、Ｐ（３，４，１）＝１２８、Ｐ（３，４，２）＝０と表現する。
【００２３】
像域判定部１０２は、画像データ入力部１０１から入力される画像データをスキャンし、着目画素が文字線画領域内（以下、前景画像領域とも言う）に含まれるか、文字線画領域外に含まれるかの判定（以下、前景／背景判定）を行う。この判定を行なう理由は、後述する説明から明らかにするが、画像データ及び属性データの符号化効率を高めるためである。
【００２４】
前景／背景の判定、すなわち、像域分離としては例えば特開２００２−０７７６３３号公報に記されているような方法で行えばよい。例えば次の通りである。
【００２５】
ＲＧＢの画像データから次式の演算を行い輝度値Ｙを算出する。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ    …（１）
そして、算出した輝度値Ｙの画像データを、予め設定された閾値Ｔによって２値化を行ない、２値表現の画像データを生成する。次いで、２値化後の輝度の低い（濃度の高い）画素の輪郭線追跡を行ない、一塊の輝度の低い画素群をラベルづけすることを繰り返していく。この結果、ラベルづけされた領域が複数できあがるので、今度は、各ラベル付けされた領域の形や距離から、文字線画を包含する領域を判定する。そして判定した領域から、予め設定された距離内に同様の領域が存在する場合には、それらを１つのグループとして定義していく。このグループに外接する矩形で表わされる領域が前景画像領域である。
【００２６】
上記の結果、図２（ａ）の画像の場合、図２（ｃ）の二重線で囲まれた２つの矩形領域が前景画像領域として抽出される。
【００２７】
像域判定部１０２は、上記のようにして前景画像領域を示す情報（矩形領域の左上隅の座標と右下隅の座標、又は、いずれか一方の座標と矩形の高さと幅）を生成し、前景画像生成部１０４、属性情報マスク部１０５、及び、第１符号化部１０７に出力する。
【００２８】
前景画像生成部１０４は、像域判定部１０２から入力された前景画像領域情報に基づき、その前景画像領域内の文字線画画像（以下、単に文字画像という）を作成する。具体的には、前景画像生成部１０４は、前景画像領域情報で示される領域内に位置する多値画像データの各画素の輝度値を予め設定された閾値を用いて２値化する。そして、その２値画像を文字画像として背景画像生成部１０３及び第１符号化部１０７に出力する。なお、実施形態では、２値化結果において、閾値以下の輝度値を持つ画素は“１”、それ以外を“０”とする。換言すれば、文字を構成する画素（通常の文書の場合には黒色）は“１”に、それ以外は“０”となる。図４（ａ）は、前景画像生成部１０４が生成した文字画像の例と、各画素の値との対応を示している。
【００２９】
なお、前景画像生成部１０４は、文字線画のエッジであるか否かを示す２値のデータを文字画像として生成しても構わない。図４（ｂ）は、この場合の文字画像の例と、各画素の値との対応を示している。
【００３０】
更に、前景画像生成部１０４は、生成した文字画像中の“１”となっている画素の色を求め、前景画像領域内の文字の代表色を算出する。具体的には、先ず、生成した文字画像の文字部を細線化を施し、細線化２値画像を作成する。そして、その細線化２値画像上で“１”の画素に対応する多値画像データ上の各色成分の平均値を算出し、その算出した各成分の平均値を文字画像の文字色として決定し、その文字色（ＲＧＢ各８ビットとする）を第１符号化部１０７に出力する。細線化するのは、スキャナで原稿を読取った場合、文字のエッジ部分には、背景と文字の混在した色が含まれる可能性が高いためである。換言すれば、細線化した結果、画素値が“１”に対応する色は、文字線画のエッジよりも更に内側の色であるので、文字の本来の色を精度良く検出できるからである。
【００３１】
背景画像生成部１０３では、画像データ入力部１０１からの画像データ（カラー多値画像）と、前景画像データ生成部１０４から文字画像（２値画像）に基づき、背景画像の穴埋め処理を行う。穴埋め処理は次の通りである。
【００３２】
説明を簡単なものとするため、文字画像中の座標（ｘ，ｙ）の２値化結果の画素値をＢ（ｘ、ｙ）とし、多値画像中の画素値を先に説明したＰ（ｘ，ｙ，Ｃ）とする。因に、Ｂ（ｘ，ｙ）＝１となる画素は、必ず文字画像の領域内のみに存在することになる点に注意されたい。
【００３３】
先ず、文字画像領域内で、Ｂ（ｘ，ｙ）＝０でとなる全画素位置における、多値画像データの各画素を参照してその平均色を算出する。実施形態の場合、色はＲ，Ｇ，Ｂの各成分で規定されるので、各成分毎の平均値で示される色が平均色ということができる。次に、算出した平均色で、文字画像領域内で、Ｂ（ｘ，ｙ）＝１となっている多値画像データ中の画素値を置換する。つまり、文字線画と判定された多値画像中の画素を、平均色で置換する。従って、平均色は別な言い方をすれば置換値（もしくは置換色）ということができる。
【００３４】
上記の結果、背景画像データ生成部１０４は、入力した多値画像中の、文字線画を構成する各画素を、背景の色で置換した新たな多値画像データを、背景画像データとして生成することが可能になる。第２の符号化部１０６は、生成した背景画像データを第２符号化部１０６に出力する。当業者であれば容易に理解できるように、背景画像データ生成部１０４は、入力した多値画像の高周波成分を除去もしくは減少させた画像を生成することになる。
【００３５】
属性情報マスク部１０５は、画像データ入力部１０１から入力した各画素毎の属性情報を、像域判定部１０２からの文字画像領域情報に従ってマスク処理を行ない、マスク処理結果を第３符号化部１０８に出力する。具体的には、属性情報マスク部１０５は像域判定部１０２からの文字画像領域情報（座標情報）で示される領域内の属性情報を“０”でマスクして出力する。また、属性情報マスク部１０５は文字画像領域外（前景画像領域外）の属性情報は維持し、そのまま出力する。
【００３６】
第１符号化部１０７は、前景画像生成部１０４からの前景画像領域の文字画像データ（２値化画像データ）を不図示のバッファメモリに格納し、ＭＭＲ等の可逆符号化する。そして、第１符号化部１０７は、前景画像生成部１０４から文字色の情報、像域判定部１０２からの前景画像領域情報（文字画像領域の座標情報）、及び、生成した符号化データを予め設定された形式にして、格納部１０９に出力する。なお、２値画像を可逆符号化するものであれば良いので、ＭＭＲに限るものではない。
【００３７】
図３（ａ）、（ｂ）は、第１符号化部１０７が生成する符号化データのデータ構造を示している。１つの画像には、前景画像領域が０個、又は、複数存在することもある。図３（ａ）は、前景画像領域（文字画像）の左上隅の座標、幅、高さ（いずれも画素数）、文字色情報（実施形態ではＲＧＢの２４ビット）、そして、文字画像データの符号化データを一組にし、それが前景画像領域の個数分だけ連続していることを示している。本実施形態では、第１符号化部１０７は図３（ａ）のデータ構造の符号化データを生成するものとする。但し、第１符号化部１０７は、図３（ｂ）のデータ構造の符号化データを生成しても良い。この図３（ａ）の例は、先ず、前景画像の左上隅の座標、幅、高さ及び文字色情報の組が、その個数分連続し、それに後続して符号化データがマーカを挟んで連続するものである。
【００３８】
第２符号化部１０８は、背景画像生成部１０３からの高周波成分を除去後の多値カラー画像データを不図示のバッファメモリに格納し、非可逆符号化する。非可逆符号化には、多値自然画像を対象とする国際標準として勧告されたＪＰＥＧ（ＩＴＵＴ−Ｔ．８１｜ＩＳＯ／ＩＥＣ  ＩＳ１０９１８）などに適合または準拠する符号化器を適用することができる。ＪＰＥＧについての詳細は規格書などあるためここでは説明は省略する。第２符号化部１０８で生成された符号化データは格納部１０９に格納される。
【００３９】
また、第３符号化部１０８は、属性情報マスク部１０５によるマスク処理後の属性情報（実施形態では１画素当たり１ビットとしている）を、不図示のバッファメモリに格納し、可逆符号化する。本実施形態では、可逆符号化としてランレングス符号化を用いるものとするが、可逆であれば良いので、これに限られるものではない。符号化された属性情報は格納部１０９に格納される。先に説明したように、前景画像領域内の属性情報は、少なくとも“０”にマスクされている。従って、前景画像領域内の属性情報は“０”の値が連続することが約束されるので、高い符号化率を得ることができる。
【００４０】
格納部１０９は上記のようにして、１つの画像データにつき、背景画像の符号化データ、前景画像の符号化データ、そして、属性データの符号化データを格納することになる。なお、これら３つの符号化データを１つのファイルにまとめても構わない。
【００４１】
以上の処理を、入力画像処理部１００は、画像データ入力部１０１から画像データ及び属性情報を入力する度に実行することになる。
【００４２】
次に、格納部１０９に格納された符号データを復号する出力画像処理部１１０について説明する。
【００４３】
出力画像処理部１１０は、図１に示すように、第１の復号部１１２、第２復号部１１１、第３復号部１１３、画像処理部１１４、及び、合成部１１５を備える。
【００４４】
第１復号部１１２は、格納部１０９に格納された文字画像データを復号し、その復号結果（前景画像領域内の２値画像データ）と、文字色、及び、背景画像領域情報を内部のバッファメモリに格納する。また、このとき、文字色情報については、ＲＧＢ→ＹＭＣＫに変換した上で格納する。ＲＧＢ→ＹＭＣＫへの変換は、前景画像領域を単位とするものであって、画素単位ではない。従って、第１復号部１１２にかかる負担は小さい。但し、別途ＲＧＢ→ＹＣＭＫ変換を行なう処理部を別途設けても構わない。この第１の復号部１１２は、先に説明した第１符号化部１０７に対応するものであるので、２値画像データの復号のために、ＭＭＲ復号処理を行なうことになる。
【００４５】
第２復号部１１１は、格納部１０９に格納された符号化された背景画像データを復号し、内部のバッファメモリに格納する。この第２復号部１１１は、先に説明した第２符号化部１０６に対応するものであるので、ＪＰＥＧ復号処理を行なうことになる。
【００４６】
第３復号部１１３は、格納部１０９に格納された符号化された属性情報を復号し、内部のバッファメモリに格納する。この第３復号部１１３は、先に説明した第３符号化部１０８に対応するものであるので、ランレングス復号処理を行なうことになる。
【００４７】
画像処理部１１４は、第２復号部１１１の内部のバッファメモリ、及び、第３復号部１１３の内部のバッファメモリをラスタースキャンし、各画素のデータ（Ｒ、Ｇ、Ｂデータ）と、属性情報を読込む。そして、画像処理部１１４は、画素単位に、ＲＧＢ→ＹＭＣＫ変換処理と、ＹＭＣＫ変換後の画素データに対し、属性情報に従った文字線画用、非文字線画用（自然画用）に応じた画像処理を行ない、処理後の画素データを合成部１１５に出力する。例えば、注目画素の属性情報が文字線画を示す“１”である場合には、エッジ強調フィルタ処理を行ない、非文字線画（自然が）を示す“０”である場合にはスムージングフィルタ処理を行なう。この結果、文字線画のエッジは鮮鋭化される。また、それ以外の自然画に代表される非文字線画の場合には濃度値のばらつきが滑らかになり、階調性に優れた画像を得ることができる。なお、前景画領域内の属性データは、先に説明したように“０”となるので、背景画像中の前景画像領域内の画素は全てスムージング処理が行われることになる。
【００４８】
画像合成部１１５は、第１復号部１１２の内部のバッファメモリに格納された前景画像領域内の２値画像データ、文字色情報（記録色成分のＹＭＣＫのデータ）、前景画像領域情報を読み込む。そして、画像合成部１１５は、読込んだ文字色情報、前景画像領域情報については、内部のレジスタにセットしておく。そして、画像合成部１１５は、画像処理部１１４から入力する画素データをカウントすることで、その画素データの座標が、いずれかの前景画像領域内にあるか否かを判断する。画像処理部１１４から入力する画素データが、いずれの前景画像領域内に無い場合、画像合成部１１５をその画素データをそのまま画像データ出力部１１６に出力する。
【００４９】
一方、画像処理部１１４から入力する画素データが、いずれかの前景画像領域内に位置すると判断した場合、画像合成部１１５は次の処理を行なう。
・画像処理部１１４から読み込んだ画素データに対応する２値データが“０”の場合：
画像処理部１１４から入力する画素データをそのまま画像データ出力部１１６に出力する。
・画像処理部１１４から読み込んだ画素データに対応する２値データが“１”の場合：
該当する前景画像領域の文字色情報の各成分値を、画像データ出力部１１６に出力する。
【００５０】
以上説明したように本第１の実施形態によれば、像域判定部１０２において前景画像領域と判定された領域内では、文字線画／非文字線画を識別する属性情報は全て非文字線画を示す値にマスクするので、属性情報の符号化効率を高めることができる。
【００５１】
［第１の実施形態の変形例］
上記第１の実施形態と同等の処理を、コンピュータプログラムでもって実現しても構わない。そこで以下では、ソフトウェアで実現する場合について説明する。
【００５２】
図７はソフトウェアで実現する場合の装置（ＰＣ等）の基本構成を示す図である。
【００５３】
図中、１４０１はＣＰＵで、ＲＡＭ１４０２やＲＯＭ１４０３に記憶されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述する画像符号化処理、復号処理を実行する。
【００５４】
１４０２はＲＡＭで、外部記憶装置１４０７や記憶媒体ドライブ１４０８、又はＩ／Ｆ１４０９を介して外部装置からダウンロードされたプログラムやデータを記憶するため、及び、ＣＰＵ１４０１が各種の処理を実行する際のワークエリアとして使用される。
【００５５】
１４０３はＲＯＭで、ブートプログラムや本装置の設定プログラムやデータを格納する。
【００５６】
１４０４、１４０５は夫々キーボード、ポインティングデバイスの１つであるマウスで、ＣＰＵ１４０１に対して各種の指示を入力することができる。
【００５７】
１４０６は表示装置で、ＣＲＴや液晶画面などにより構成されており、画像や文字などの情報を表示することができる。
【００５８】
１４０７は外部記憶装置で、ハードディスクドライブ装置等の大容量情報記憶装置であって、ここにＯＳや後述する画像符号化、復号処理の為のプログラム、符号化対象の画像データ、復号対象画像の符号化データなどが保存される。
【００５９】
１４０８は記憶媒体ドライブで、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出してＲＡＭ１４０２や外部記憶装置１４０７に出力するものである。なお、この記憶媒体に後述する画像符号化、復号処理の為のプログラム、符号化対象の画像データ、復号対象の画像の符号化データなどを記録しておいても良い。この場合、記憶媒体ドライブ１４０８は、ＣＰＵ１４０１による制御によって、これらのプログラムやデータをＲＡＭ１４０２上の所定のエリアにロードする。
【００６０】
１４０９はＩ／Ｆで、このＩ／Ｆ１４０９によって外部装置を本装置に接続し、本装置と外部装置との間でデータ通信を可能にするものである。例えは符号化対象の画像データや、復号対象の画像の符号化データなどを本装置のＲＡＭ１４０２や外部記憶装置１４０７、あるいは記憶媒体ドライブ１４０８に入力することもできる。１４１０は上述の各部を繋ぐバスである。
【００６１】
上記構成において、ソフトウェアでもって第１の実施形態と同様の処理を実現する場合、図１における各種処理部は、ソフトウェア上では関数、サブルーチン等で実現する。また、各処理部における内部バッファはＲＡＭ１４０２に確保し、符号化データを格納する格納部１０９は大容量が求められるので外部記憶装置１４０７を活用すれば良いであろう。なお、図１における画像データ出力部１１６は、外部に接続されたプリンタ等に出力する処理を行なうプリンタドライバで代替すれば良いであろう。
【００６２】
［第２の実施形態］
上記第１の実施形態では、背景画像生成部１０３は、前景画像生成部１０４で生成した文字画像の“１”の画素に対応する多値画像データの画素値を、置換色の値で置換することで、新たな背景画像を生成した。
【００６３】
一般に、文字のみで構成される原稿をイメージスキャナで多値画像として読み取った場合、文字のエッジを境界において、エッジ外では白、エッジ内では完全な黒とはならない。すなわち、エッジ境界の近傍では、輝度（もしくは濃度）は或る程度の勾配で変化する。それ故、文字線画であると判定された画素位置の多値画素データを置換色で置換したとしても、その置換した画素に隣接する非置換画素の領域では、もともと存在していた文字色を影響により、濃度変化が大きいままになっている可能性がある。言い換えれば、第１の実施形態における背景画像生成部１０３で生成される背景画像には、元々存在していた文字線画の影響を受けた高周波成分が残存する可能性が高い。
【００６４】
実施形態における第２符号化部１０６はＪＰＥＧ符号化を採用しているので、第２符号化部１０６はＤＣＴ変換（周波数変換）、量子化、エントロピー符号化の処理を行なう。従って、背景画像生成部１０３で生成した画像に高周波成分が残っていると、ＤＣＴ変換で得られた交流成分は“０”になりにくくなり、結果、符号化効率を高めることができない。
【００６５】
そこで、本第２の実施形態では、上記課題を解決する例を説明する。
【００６６】
図５は本第２の実施形態における複合機のブロック構成図である。図１と異なる点は、前景画像生成部１０４と背景画像生成部１０３との間に、拡張処理部１２０を設けた点である。これ以外は第１の実施形態と同じであるので、その説明は省略する。
【００６７】
拡張処理部１２０は、前景画像生成部１０４で生成された前景画像領域を２値化した文字画像データの“１”となっている領域を、拡張する処理（太らせ処理）を行なう。例えば、１画素分だけ拡張する（太らせる）場合には、次のような処理を行なえばよい。
【００６８】
先ず、文字画像データ内を３×３画素サイズのウインドウを用いてラスタースキャンし、そのウインドウ内に“１”の画素が１つでも存在する場合、ウインドウ内の中心位置の画素値を“１”に置き換える。このようにすると、“１”の画素に隣接する“０”の値を持つ画素値が“１”に置換されることになり、１画素分だけ文字線画が太ることになる。因に、２画素分だけ拡張する場合には、ウインドウのサイズを５×５画素サイズにすれば良い。このウインドウのサイズは、イメージスキャナの読取り解像度に依存して決めればよいであろう。
【００６９】
上記の結果、拡張処理部１２０は、文字線画の画素、及び、その文字線画の画素に隣接する非文字線画の画素まで、“１”にした２値画像を生成することになる。
【００７０】
従って、背景画像生成部１０３は、文字線画の画素だけでなく、その文字線画のエッジ近傍の非文字線画の画素までを穴埋め処理することになる。この結果、本第２の実施形態における背景画像生成部１０３は、第１の実施形態と比較して、更に高周波成分を除去した背景画像を生成することが可能となり、第２符号化部１０６による圧縮率を更に高めることが可能になる。
【００７１】
なお、図５に示すように、第１の符号化部１０７は、拡張処理部１２０による拡張後の文字画像データを符号化しないようにした。理由は、第１の符号化部１０７が、拡張処理部１２０の処理結果を符号化してしまうと、オリジナルの画像の文字線画よりも太い文字線画となる符号化データを生成してしまうからである。また、サイズの小さい文字は、潰れてしまい判読が困難になるからでもある。
【００７２】
以上説明したように本第２の実施形態によれば、第１の実施形態と比較して、背景画像の符号効率を高めることが可能になる。
【００７３】
なお、本第２の実施形態にかかる処理をコンピュータプログラムでもって実現できることは、第１の実施形態の変形例で説明した通り、明らかであろう。
【００７４】
［第３の実施形態］
図６は、第３の実施形態における複合機のブロック構成図である。図１と異なる点は、出力画像処理部１１０内の第１復号部の出力が、第３復号部に供給されるようにした点である。これ以外は第１の実施形態と同じであるので、その説明は省略する。
【００７５】
本第３の実施形態では、第１復号部１１２で復号して得られた文字画像データ（２値画像データ）が“１”であった場合、第３復号部１１３は属性データの復号結果が“０”（文字線画を構成する画素）であっても、“１”として画像処理部１１４に出力する。一方、第１復号部１１２で復号して得られた文字画像データ（２値画像データ）が“０”（非文字線画の画素）であった場合、第３復号部１１３は復号して得られた属性データを画像処理部１１４に出力する。
【００７６】
このようにすることで、文字線画については、前景画像領域内であっても、エッジ強調処理が実行されることになり、印刷される文字線画の輪郭を明瞭にさせることが可能になる。
【００７７】
なお、本第３の実施形態にかかる処理をコンピュータプログラムでもって実現できることは、第１の実施形態の変形例で説明した通り、明らかであろう。
【００７８】
［第４の実施形態］
上記第１乃至第３の実施形態では、出力画像処理部１１０側の画像処理部１１４には、第１復号部１１２、第２復号部１１１、第３復号部１１３で得られたデータを入力として画像処理を行った。
【００７９】
すなわち、上記の各実施形態では、文字線画を含む前景領域内の属性データの圧縮率を高めるため、前景領域内の属性データを全て“０”とするものであった。
【００８０】
ところで、画像データ出力部１１６から出力された後に、画像全体に対する属性情報が必要となる場合がある。例えば、復号後に得られた画像の全体に対して、ハーフトーン処理などの画像処理を施す場合には、上記マスクされた一部分の属性情報だけではなく、画像全体（１画面）に対する全ての属性情報が必要となる。
【００８１】
そこで、本第４の実施形態では、マスクされる前の１画面分の属性情報を復元する例を説明する。
【００８２】
本第４の実施形態では、第１復号部１１１から出力される前景画像と第３復号部１１３から出力される属性情報とをマージすることで、マスク処理を行う前の属性情報を復元する。
【００８３】
このため、本第４の実施形態のブロック構成図は図８に示す構成となる。図８において、図１と異なる点は、第１復号部１１２と第３復号部１１３の後ろに属性情報復元部１２０を設けた点である。また、画像処理部１１４を合成部１１５と画像データ出力部１１６の間に移動した点、及び、画像データ出力部１１６の後ろに画像処理部１２１を追加した点も図１と異なる。これら以外については、第１の実施形態と基本的に同じであるので、詳細説明を省略する。
【００８４】
属性情報復元部１２０は、第１復号部１１２から出力された前景画像データ（２値画像データ）と、第３復号部１１３から出力された属性情報を入力し、前景画像データと属性情報をマージする。これらをマージすることで、属性情報マスク部１０５でマスクされる以前の属性情報を復元することができる。
【００８５】
具体的には、属性情報復元部１２０は、第３復号部１１３から出力された属性情報が“０”であり、第１復号部１１２から出力された前景画像データ内の該当する２値画素の値が文字画素を示す“１”である場合、属性情報を“１”に変更する。この方法により復元された属性情報を画像処理部１１４へ出力する。かかる点を図９（ａ）乃至（ｃ）を用いて説明する。
【００８６】
図９（ａ）は第１復号部１１２で得られた前景画像を示し、図９（ｂ）は第３復号部１１３で得られた属性情報を示している。属性情報復元部１２０は、これら２つの画像から、図９（ｃ）の画像を復元することになる。すなわち、マスク処理以前の属性情報が復元できることになる。
【００８７】
画像処理部１１４は、合成部１１５から出力される合成後の画像データに対して、属性情報復元部１２０から出力される復元された属性情報によって、画像形成の処理の切り換えを行う。例えば、属性情報が文字部分を示す場合には、スクリーンの線数を６００線にし、それ以外の部分に対しては３００線にするような切り替えを行う。そして、画像処理部１２１は、画像データ出力部１１６からの画像データに対して、ユーザが設定した処理を、復元した属性情報に従って処理し、出力することになる。
【００８８】
以上説明したように、本第４の実施形態によれば、出力画像処理部１１０（画像復号装置）側で、前景画像とマスクされた属性情報をマージすることにより、マスクされる以前の属性情報の復元が可能である。よって、前景画像と背景画像を合成した画像の全体に対して、画素毎の適切な画像処理を行うことが可能である。即ち、図８に示すように、画像データ出力後の画像に対して属性情報が必要な場合にも、１画面全体に対する属性情報として利用できる。
【００８９】
なお、本第４の実施形態にかかる処理をコンピュータプログラムでもって実現できることは明らかである。
【００９０】
また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されていて、それをコンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇に入ることも明らかである。
【００９１】
また、第１乃至第４の実施形態では、複合機に適用する例を説明したが、これは符号化処理と復号処理を説明するのに都合が良いためであり、単体の画像符号化装置や画像復号装置に適用しても構わない。この場合、３つの符号化部で生成された符号化データを結合して、１つのファイルを作成することが望ましい。
【００９２】
また、実施形態では、属性データは１画素につき１ビットとして説明したが、複数の属性項目を示すため、２ビット以上（多ビット）でも構わない。少なくとも、その属性項目の文字線画／非文字線画の判定ビットが前景画像領域内では１種類しかなくなるわけであるから、符号化データ量は少なくなるように作用するからである。
【図面の簡単な説明】
【００９３】
【図１】第１の実施形態に係る複合機のブロック構成である。
【図２】処理対象の画像データ、属性データ、前景画像領域の例を示す図である。
【図３】実施形態における前景画像領域の符号化データのデータ構造の例を示す図である。
【図４】前景画像生成部で生成された文字画像の一例を示す図である。
【図５】第２の実施形態に係る複合機のブロック構成である。
【図６】第３の実施形態に係る複合機のブロック構成である。
【図７】第１乃至第４の実施形態の画像符号化に係る処理をコンピュータプログラムで実現する場合の装置構成を示す図である。
【図８】第４の実施形態に係る複合機のブロック構成である。
【図９】第４の実施形態における属性情報の復元処理を説明するための図である。
【図１】
0005132530.tif 000002
【図３】
0005132530.tif 000003
【図４】
0005132530.tif 000004
【図５】
0005132530.tif 000005
【図６】
0005132530.tif 000006
【図７】
0005132530.tif 000007
【図８】
0005132530.tif 000008
【図９】
0005132530.tif 000009
【図２】
0005132530.tif 000010