(57)【特許請求の範囲】
【請求項１】
圧縮前の多値の文書画像を入力する画像入力手段と、
前記画像入力手段により入力された多値の文書画像から二値画像データを作成する二値画像作成手段と、
前記二値画像作成手段により作成された二値画像データに基づいて前記文書画像を属性毎の領域に分割し、当該分割された各領域の属性の情報とレイアウトの情報とを含むレイアウト解析データを生成するレイアウト解析手段と、
前記文書画像を保存する際の保存レベルを設定する保存レベル設定手段と、
前記保存レベル設定手段によって第１の保存レベルが設定された場合、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、テキスト以外の属性を有する領域の部分画像を前記多値の文書画像から切り出し、当該切り出された部分画像のうち、二値の部分画像を二値画像用圧縮処理で圧縮し、多値の部分画像を多値画像用圧縮処理で圧縮し、当該圧縮された各部分画像を格納した文書画像理解データを保存し、
一方、前記保存レベル設定手段によって第２の保存レベルが設定された場合、前記多値の文書画像の全体画像を多値画像用圧縮処理で圧縮し、更に、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、当該切り出された二値の部分画像を二値画像用圧縮処理で圧縮し、当該圧縮されたテキスト属性の部分画像と前記圧縮された全体画像とを格納した文書画像理解データを保存し、
一方、前記保存レベル設定手段によって第３の保存レベルが設定された場合、前記多値の文書画像の全体画像を多値画像用圧縮処理で圧縮し、更に、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、テキスト以外の属性を有する領域の部分画像を前記多値の文書画像から切り出し、当該切り出された部分画像のうち、二値の部分画像を二値画像用圧縮処理で圧縮し、多値の部分画像を多値画像用圧縮処理で圧縮し、当該圧縮された各部分画像と前記圧縮された全体画像とを格納した文書画像理解データを保存する保存手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記文書画像理解データに格納されている全ての部分画像を取り出して白地の下地に合成することにより再生画像を作成する第１の再生レベルと、前記文書画像理解データに格納されているテキスト属性の部分画像を取り出し、更に、前記文書画像理解データに格納されている全体画像からテキスト以外の属性の領域に対応する部分を部分画像として切り出して、当該取り出したテキスト属性の部分画像と当該切り出したテキスト以外の属性の部分画像とを白地の下地に合成することにより再生画像を作成する第２の再生レベルと、前記文書画像理解データに格納されているテキスト属性の部分画像を取り出して、前記文書画像理解データに格納されている全体画像を下地として当該取り出したテキスト属性の部分画像を合成することにより再生画像を作成する第３の再生レベルと、の中からオペレータにより指定された再生レベルを設定する再生レベル設定手段と、
前記再生レベル設定手段によって設定された再生レベルに基づいて、入力された再生対象の前記文書画像理解データから前記再生画像を作成することにより、前記文書画像を再生する文書画像再生手段と、を更に有し、
前記再生対象の文書画像理解データが前記第１の保存レベルであって前記全体画像が格納されていない場合、前記文書画像再生手段では、前記再生レベル設定手段で設定された再生レベルを前記第１の再生レベルに設定変更してから再生することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記文書画像理解データに前記部分画像を格納する場合、前記文書画像理解データは、当該格納される部分領域の圧縮方式に関する情報を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記保存レベル設定手段は、オペレータの指示に基づいて設定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記保存レベル設定手段は、前記レイアウト解析データに基づいて自動設定することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
圧縮前の多値の文書画像を入力する画像入力工程と、
前記画像入力工程で入力された多値の文書画像から二値画像データを作成する二値画像作成工程と、
前記二値画像作成工程で作成された二値画像データに基づいて前記文書画像を属性毎の領域に分割し、当該分割された各領域の属性の情報とレイアウトの情報とを含むレイアウト解析データを生成するレイアウト解析工程と、
前記文書画像を保存する際の保存レベルを設定する保存レベル設定工程と、
前記保存レベル設定工程で第１の保存レベルが設定された場合、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、テキスト以外の属性を有する領域の部分画像を前記多値の文書画像から切り出し、当該切り出された部分画像のうち、二値の部分画像を二値画像用圧縮処理で圧縮し、多値の部分画像を多値画像用圧縮処理で圧縮し、当該圧縮された各部分画像を格納した文書画像理解データを保存し、
一方、前記保存レベル設定工程で第２の保存レベルが設定された場合、前記多値の文書画像の全体画像を多値画像用圧縮処理で圧縮し、更に、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、当該切り出された二値の部分画像を二値画像用圧縮処理で圧縮し、当該圧縮されたテキスト属性の部分画像と前記圧縮された全体画像とを格納した文書画像理解データを保存し、
一方、前記保存レベル設定工程で第３の保存レベルが設定された場合、前記多値の文書画像の全体画像を多値画像用圧縮処理で圧縮し、更に、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、テキスト以外の属性を有する領域の部分画像を前記多値の文書画像から切り出し、当該切り出された部分画像のうち、二値の部分画像を二値画像用圧縮処理で圧縮し、多値の部分画像を多値画像用圧縮処理で圧縮し、当該圧縮された各部分画像と前記圧縮された全体画像とを格納した文書画像理解データを保存する保存工程と、
を有することを特徴とする画像処理方法。
【請求項７】
前記文書画像理解データに格納されている全ての部分画像を取り出して白地の下地に合成することにより再生画像を作成する第１の再生レベルと、前記文書画像理解データに格納されているテキスト属性の部分画像を取り出し、更に、前記文書画像理解データに格納されている全体画像からテキスト以外の属性の領域に対応する部分を部分画像として切り出して、当該取り出したテキスト属性の部分画像と当該切り出したテキスト以外の属性の部分画像とを白地の下地に合成することにより再生画像を作成する第２の再生レベルと、前記文書画像理解データに格納されているテキスト属性の部分画像を取り出して、前記文書画像理解データに格納されている全体画像を下地として当該取り出したテキスト属性の部分画像を合成することにより再生画像を作成する第３の再生レベルと、の中からオペレータにより指定された再生レベルを設定する再生レベル設定工程と、
前記再生レベル設定工程で設定された再生レベルに基づいて、入力された再生対象の前記文書画像理解データから前記再生画像を作成することにより、前記文書画像を再生する文書画像再生工程と、を更に有し、
前記再生対象の文書画像理解データが前記第１の保存レベルであって前記全体画像が格納されていない場合、前記文書画像再生工程では、前記再生レベル設定工程で設定された再生レベルを前記第１の再生レベルに設定変更してから再生する
ことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記文書画像理解データに前記部分画像を格納する場合、前記文書画像理解データは、当該格納される部分領域の圧縮方式に関する情報を含むことを特徴とする請求項６に記載の画像処理方法。
【請求項９】
前記保存レベル設定工程では、オペレータの指示に基づいて設定することを特徴とする請求項６に記載の画像処理方法。
【請求項１０】
前記保存レベル設定工程では、前記レイアウト解析データに基づいて自動設定することを特徴とする請求項６に記載の画像処理方法。
【請求項１１】
圧縮前の多値の文書画像を入力して圧縮保存するプログラムを記憶した、コンピュータにより読取り可能な記憶媒体であって、
圧縮前の多値の文書画像を入力する画像入力工程モジュールと、
前記画像入力工程モジュールで入力された多値の文書画像から二値画像データを作成する二値画像作成工程モジュールと、
前記二値画像作成工程モジュールで作成された二値画像データに基づいて、前記文書画像を属性毎の領域に分割し、当該分割された各領域の属性の情報とレイアウトの情報とを含むレイアウト解析データを生成するレイアウト解析工程モジュールと、
前記文書画像を保存する際の保存レベルを設定する保存レベル設定工程モジュールと、
前記保存レベル設定工程モジュールで第１の保存レベルが設定された場合、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、テキスト以外の属性を有する領域の部分画像を前記多値の文書画像から切り出し、当該切り出された部分画像のうち、二値の部分画像を二値画像用圧縮処理で圧縮し、多値の部分画像を多値画像用圧縮処理で圧縮し、当該圧縮された各部分画像を格納した文書画像理解データを保存し、
一方、前記保存レベル設定工程モジュールで第２の保存レベルが設定された場合、前記多値の文書画像の全体画像を多値画像用圧縮処理で圧縮し、更に、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、当該切り出された二値の部分画像を二値画像用圧縮処理で圧縮し、当該圧縮されたテキスト属性の部分画像と前記圧縮された全体画像とを格納した文書画像理解データを保存し、
一方、前記保存レベル設定工程モジュールで第３の保存レベルが設定された場合、前記多値の文書画像の全体画像を多値画像用圧縮処理で圧縮し、更に、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、テキスト以外の属性を有する領域の部分画像を前記多値の文書画像から切り出し、当該切り出された部分画像のうち、二値の部分画像を二値画像用圧縮処理で圧縮し、多値の部分画像を多値画像用圧縮処理で圧縮し、当該圧縮された各部分画像と前記圧縮された全体画像とを格納した文書画像理解データを保存する保存工程モジュールと、
を有することを特徴とするプログラムを記憶した、コンピュータにより読取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書画像を入力して保存し、それらを再生する画像処理装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来、文書画像を入力して処理する装置としては、例えば文書及び画像などが印刷された原稿を光学的に読み取って入力し、その原稿画像を印刷して出力する複写機や、その光学的に入力した原稿画像を保存する文書データベースシステムや、その原稿画像をネットワーク等を介して伝送するファクシミリ装置等があった。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような従来の装置では、デジタル化やネットワーク化に適応できなくなっている。具体的には、原稿画像のカラー化により、原稿画像をそのまま保存したり、ネットワークを介して配信したのでは、その画像データの量が膨大なものとなる。また、画像データの圧縮に際して、その原稿画像の画像データを一律に圧縮したのでは、再利用に適した画質を保つことができない。また、その原稿画像を出力する出力機器が、白黒プリンタやカラープリンタ等といった違いによって、その出力画像の画質が劣化してしまう等の課題があった。
【０００４】
本発明は上記従来例に鑑みてなされたもので、入力した多値の文書画像のデータ量を削減して記憶し、それらを読み出して高品位に再生できる画像処理装置及びその方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、  圧縮前の多値の文書画像を入力する画像入力手段と、
前記画像入力手段により入力された多値の文書画像から二値画像データを作成する二値画像作成手段と、
前記二値画像作成手段により作成された二値画像データに基づいて前記文書画像を属性毎の領域に分割し、当該分割された各領域の属性の情報とレイアウトの情報とを含むレイアウト解析データを生成するレイアウト解析手段と、
前記文書画像を保存する際の保存レベルを設定する保存レベル設定手段と、
前記保存レベル設定手段によって第１の保存レベルが設定された場合、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、テキスト以外の属性を有する領域の部分画像を前記多値の文書画像から切り出し、当該切り出された部分画像のうち、二値の部分画像を二値画像用圧縮処理で圧縮し、多値の部分画像を多値画像用圧縮処理で圧縮し、当該圧縮された各部分画像を格納した文書画像理解データを保存し、
一方、前記保存レベル設定手段によって第２の保存レベルが設定された場合、前記多値の文書画像の全体画像を多値画像用圧縮処理で圧縮し、更に、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、当該切り出された二値の部分画像を二値画像用圧縮処理で圧縮し、当該圧縮されたテキスト属性の部分画像と前記圧縮された全体画像とを格納した文書画像理解データを保存し、
一方、前記保存レベル設定手段によって第３の保存レベルが設定された場合、前記多値の文書画像の全体画像を多値画像用圧縮処理で圧縮し、更に、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、テキスト以外の属性を有する領域の部分画像を前記多値の文書画像から切り出し、当該切り出された部分画像のうち、二値の部分画像を二値画像用圧縮処理で圧縮し、多値の部分画像を多値画像用圧縮処理で圧縮し、当該圧縮された各部分画像と前記圧縮された全体画像とを格納した文書画像理解データを保存する保存手段と、
を有することを特徴とする。
【０００６】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、  圧縮前の多値の文書画像を入力する画像入力工程と、
前記画像入力工程で入力された多値の文書画像から二値画像データを作成する二値画像作成工程と、
前記二値画像作成工程で作成された二値画像データに基づいて前記文書画像を属性毎の領域に分割し、当該分割された各領域の属性の情報とレイアウトの情報とを含むレイアウト解析データを生成するレイアウト解析工程と、
前記文書画像を保存する際の保存レベルを設定する保存レベル設定工程と、
前記保存レベル設定工程で第１の保存レベルが設定された場合、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、テキスト以外の属性を有する領域の部分画像を前記多値の文書画像から切り出し、当該切り出された部分画像のうち、二値の部分画像を二値画像用圧縮処理で圧縮し、多値の部分画像を多値画像用圧縮処理で圧縮し、当該圧縮された各部分画像を格納した文書画像理解データを保存し、
一方、前記保存レベル設定工程で第２の保存レベルが設定された場合、前記多値の文書画像の全体画像を多値画像用圧縮処理で圧縮し、更に、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、当該切り出された二値の部分画像を二値画像用圧縮処理で圧縮し、当該圧縮されたテキスト属性の部分画像と前記圧縮された全体画像とを格納した文書画像理解データを保存し、
一方、前記保存レベル設定工程で第３の保存レベルが設定された場合、前記多値の文書画像の全体画像を多値画像用圧縮処理で圧縮し、更に、前記レイアウト解析データに基づいて、テキスト属性を有する領域の部分画像を前記二値画像データから切り出し、テキスト以外の属性を有する領域の部分画像を前記多値の文書画像から切り出し、当該切り出された部分画像のうち、二値の部分画像を二値画像用圧縮処理で圧縮し、多値の部分画像を多値画像用圧縮処理で圧縮し、当該圧縮された各部分画像と前記圧縮された全体画像とを格納した文書画像理解データを保存する保存工程と、
を有することを特徴とする。
【０００７】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【０００８】
図１は、本実施の形態１に係る画像処理システムの機能構成を示す機能ブロック図である。
【０００９】
図１において、１０１は入力される文書で、印刷物やコンピュータ上で扱う画像データ等を含む文書原稿である。１０２は画像入力部で、例えばスキャナ等を有し、文書１０１を読み取って画像信号として入力する。１０３は画像入力部１０２から入力された原画像データである。１０４は二値画像出力部で、入力文書１０１の画像信号から二値画像データ１０５を作成して出力する。１０６はレイアウト解析部で、二値画像データ１０５を基に、その入力された文書画像を図やテキストや表等の各種属性に対応する領域に分割した情報、即ち、レイアウト解析データ１０７を出力する。１０８は保存レベル設定部で、入力された文書画像を解析して理解し、その情報、即ち、文書画像理解データ１１１を得るためのパラメータである保存レベルを設定する。１０９は文書画像理解保存部で、入力文書原画像１０３及び二値画像データ１０５から適応的に保存条件を変更しながら文書画像理解データを保存する。１１０は文書画像理解データ出力部で、文書画像理解保存部１０９に記憶されている文書画像理解データ１１１を読み出して出力する。１１２は文書画像理解データ入力部で、文書画像理解データ出力部１１０から出力される文書画像理解データ１１１を入力する。この文書画像理解データ出力部１１０と文書画像理解データ入力部は、後述するネットワーク２１２により接続されるものであっても良い。１１３は再生レベル設定部で、文書画像理解データ１１１をもとに、元の文書画像を再生処理するためのパラメータを設定する。１１４は文書画像理解再生部で、文書画像理解データ１１１から適応的に再生条件を変更しながら文書画像を作成する。１１５は再生される文書画像データ、１１６は再生文書画像１１５を出力する画像出力部、１１７は、最終的に再生されて出力される出力文書である。
【００１０】
図２は、本実施の形態１に係る画像処理システムの構成を説明する概念図である。
【００１１】
図２において、２０１は文書画像の理解処理を行うコンピュータで、図１の二値画像出力部１０４、レイアウト解析部１０６、保存レベル設定部１０８等に相当している。２０２はデータを保存する記憶装置で、図１の文書画像理解保存部１０９に該当している。２０３はスキャナで、原稿画像を読み取って光電的に画像を入力している。２０４はカラープリンタである。２０５はファクシミリ、２０６はカラー画像の入力及びプリント出力を複合的に行うデジタルカラー複写機である。２０７はプリンタ２０８を管理するプリンタサーバ、２０８はモノクロプリンタである。２０９はデータべ−スを管理するファイルサーバ、２１０はデータべ−ス、２１１はモノクロ画像の入力及びプリント出力を複合的に行うデジタル複写機である。２１２は上述した各デジタル機器同士を接続するネットワークであり、ＬＡＮや公衆回線等により実現される。この構成において、画像入力部１０２は、スキャナ２０３や複写機２０６、２１１等のスキャナ部、更にはファクシミリ装置２０５の原稿読取り部にも相当している。また画像出力部１１６は、プリンタ２０４、２０８、及び複写機206，２１１のプリンタ部、更にはファクシミリ装置２０５のプリンタ部などが相当している。
【００１２】
次に本実施の形態に係る画像処理システムにおける処理の流れについて説明する。
【００１３】
図３は、本実施の形態に係る画像処理システムにおける処理の流れを説明するフローチャートである。
【００１４】
本実施の形態では、２４ビット多値画像をスキャナ２０３や複写機２０６などより入力し、ネットワーク２１２を介して配信し、その配信先でモノクロプリンタ２０８や複写機２１１或はファクシミリ装置２０５等で出力する場合で説明する。
【００１５】
まずステップＳ３０１で、画像入力部１０２であるスキャナ２０３より文書画像を多値画像として入力する。次にステップＳ３０２に進み、その多値画像データを二値画像出力部１０４により二値画像データ１０５に変換する。そしてステップＳ３０３で、その二値画像データ１０５を基に、レイアウト解析部１０６により、その文書画像に含まれる図やテキストや表等を、各種属性毎に領域に分割し、レイアウト解析データ１０７（図４参照）を出力する。
【００１６】
図４（ａ）（ｂ）において、レイアウト解析データ１０７は、その分割された領域数ｎと、各領域ごとの始点のＸ，Ｙ座標、幅、高さ、及びその属性（テキスト＝１、線図形＝２、絵・写真＝３、表＝４）が記憶されている。
【００１７】
次にステップＳ３０４に進み、保存レベル設定部１０８において、保存レベルの設定を行う。本実施の形態１では、オペレータにより、この保存レベルを「レベル１」から「レベル３」までの内の何れかに設定できるものとする。ここでのオペレータによる保存レベルの設定は、図２に示したシステムのいずれかの端末におけるキーボード或はタッチパネルなどにより入力される。また一度入力したレベルを次に変更されるまで保存して、異なる入力画像に対して繰り返し用いてもよい。次にステップＳ３０５に進み、文書画像理解保存部１０９において、レイアウト解析データ１０７及び設定された保存レベルを基にして、入力文書の原画像である多値画像１０３及び二値画像データ１０５から適応的に保存条件を変更しながら文書画像理解データ１１１を作成して保存する。そしてステップＳ３０６に進み、その文書画像理解データ１１１を出力する。この時、ステップＳ３０４で設定され、ステップＳ３０５で処理された保存レベルを示すタグを文書画像理解データ１１１に付して出力する。
【００１８】
以下、上記各処理の詳細を説明する。
【００１９】
図５乃至図８は、図３のステップＳ３０５における設定された保存レベルに応じた文書画像の保存処理を示すフローチャートである。
【００２０】
図５において、まずステップＳ５０１で、ステップＳ３０４で設定されている保存レベルを判定し、それぞれのレベルに応じた文書画像理解保存処理（Ｓ５０２，Ｓ５０３，Ｓ５０４のいずれか）に処理を分岐させる。
【００２１】
ここで、判定された保存レベルが「レベル１」の場合にはステップＳ５０２に進み、図６のフローチャートで示すように処理される。
【００２２】
まずステップＳ６０１で、各分割領域のレイアウト解析データ１０７を分析して、各領域の領域属性を求める。次にステップＳ６０２において、その領域属性が『テキスト』であればステップＳ６０３に進み、切り取り先の画像として二値画像データを選択し、ステップＳ６０５で、レイアウト解析データ１０７の領域の座標データ（Ｘ，Ｙ）、幅、高さを用いて、その部分画像を切り取る。
【００２３】
一方、ステップＳ６０２で、領域属性が『テキスト』でなかった場合（非『テキスト』領域）はステップＳ６０４に進み、切り取り先の全体画像として原画像である多値画像１０３を選択し、ステップＳ６０５で、レイアウト解析データ１０７の領域の座標データ、幅、高さ等を用いて、その部分画像を切り取る。
【００２４】
次にステップＳ６０６に進み、その切り取った部分画像の画像タイプを調べ、二値画像であればステップＳ６０７に進み、二値画像用の圧縮処理を施し（例えばＭＭＲ等）、その圧縮した部分画像を、文書画像理解データ１１１（図９）として保存する（Ｓ６０９）。この時、文書画像理解データ１１１に、その圧縮方式を示すデータも記録しておくことにより、文書画像理解再生部１１４においてその圧縮画像を復号可能としている。
【００２５】
またステップＳ６０６において調べた結果が多値画像であったならばステップＳ６０８に進み、多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、その圧縮した部分画像を、文書画像理解データ（図９）として保存する（Ｓ６０９）。
【００２６】
図９は、本実施の形態に係る文書画像理解データ１１１のデータ構成を説明する図である。
【００２７】
図９において、部分画像データの場合、対象となったレイアウト領域のレイアウト解析データ１０７での出現順位をレイアウト領域データＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【００２８】
図１０（ａ）は、画像タイプの識別番号を、図１０（ｂ）は圧縮方式の識別番号を説明する図である。
【００２９】
そして図６のステップＳ６１０に進み、残りの分割領域が存在しているか否かを調べ、存在していればステップＳ６０１に戻り、残りの分割領域について上記の処理を繰り返す。このステップＳ６１０で残りの分割領域が存在していなければ、文書画像理解保存処理を終了する。
【００３０】
また、もし図５のステップＳ５０１で判定された保存レベルが「レベル２」の場合の保存処理を図７のフローチャートを参照して説明する。
【００３１】
まずステップＳ７０１で、全体画像を全体画像データとして保存処理を行う。この時、本実施の形態では、全体画像はステップＳ３０１の多値画像入力処理によって入力されているので多値画像用の圧縮（例えばＪＰＥＧ）を用いて保存する。この全体画像データの場合の文書画像理解データの詳細は、図９に示すように、幅、高さ、画像タイプ、圧縮方式、画像サイズ及び圧縮した画像を全体画像情報として保存する。
【００３２】
次にステップＳ７０２で、各分割領域のレイアウト解析データ１０７を解析して、各領域の領域属性を求める。次にステップＳ７０３で、その領域属性が『テキスト』であればステップＳ７０４に進み、切り取り先全体画像として二値画像データ１０５を選択する。次にステップＳ７０５で、レイアウト解析データ１０７の領域の座標データ、幅、高さ等を用いて部分画像を切り取る。次にステップＳ７０６で、二値画像用の圧縮処理を施し（例えばＭＭＲ等）、その圧縮した部分画像を文書画像理解データ１１１（図９）として保存処理を行う。
【００３３】
また、もしステップＳ７０３で、領域属性が『テキスト』でなかった場合はステップＳ７０７に進み、その分割領域についての部分画像の保存処理は行わない。こうしてステップＳ７０６の次、或はステップＳ７０３に続いてステップＳ７０７に進み、残りの分割領域が存在しているか否かを調べ、存在していればステップＳ７０２に戻り、残りの分割領域について上記の処理を繰り返す。また残りの分割領域が存在していなければ、文書画像理解データ１１１の保存処理を終了する。
【００３４】
またステップＳ５０１で判定された保存レベルが「レベル３」の場合は、図８のフローチャートで示すように実行される。
【００３５】
図８において、まずステップＳ８０１で、全体画像を全体画像データとして保存処理を行う。次にステップＳ８０２に進み、各分割領域のレイアウト解析データ１０７を分析して、各領域の領域属性を求める。次にステップＳ８０３に進み、領域属性が『テキスト』であればステップＳ８０４に進み、切り取り先全体画像として二値画像データ１０５を選択し、ステップＳ８０５ででレイアウト解析データ１０７の領域の座標データ、幅、高さを用いて部分画像を切り取る。
【００３６】
またステップＳ８０３で、領域属性が『テキスト』でなかった場合はステップＳ８０６に進み、切り取り先全体画像として原画像である多値画像１０３を選択し、ステップＳ８０５でレイアウト解析データ１０７の領域の座標データ、高さ、幅を用いて部分画像を切り取る。
【００３７】
次にステップＳ８０７に進み、その切り取った部分画像を調べ、二値画像であればステップＳ８０８に進み、二値画像用の圧縮処理を施し（例えばＭＭＲ等）、その圧縮した部分画像を文書画像理解データ（図９）として保存処理を行う（Ｓ８０９）。この時、文書画像理解データに、その圧縮方式も記録しておくことにより、文書画像理解再生処理においてその圧縮画像を復号可能とする。
【００３８】
またステップＳ８０７において調べた結果が、多値画像であったならばステップＳ８１０に進み、多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、その圧縮した部分画像を文書画像理解データ（図９）として保存処理を行う（Ｓ８０９）。こうしてステップＳ８１１に進み、残りの分割領域が存在しているか否かを調べ、存在していればステップＳ８０２に戻り、残りの分割領域について上記の処理を繰り返す。またステップＳ８１１で、残りの分割領域が存在していなければ、文書画像理解保存処理を終了する。
【００３９】
更に本実施の形態では、文書画像理解保存部１０９において作成し、保存された文書画像理解データ１１１は、文書画像理解データ出力部１１０によりネットワーク２１２に出力され、このネットワーク２１２を介して利用先に配信される。
【００４０】
これを受取った利用先では、図１１のフローチャートで示す処理に従って再生画像を出力する。
【００４１】
図１１において、まずステップＳ４０１で、文書画像理解データ入力部１１２により文書画像理解データ１１１を入力し、次にステップＳ４０２で、再生レベル設定部１１３において、その文書画像の再生レベルの設定を行う。本実施の形態では、オペレータを介して「レベル１」から「レベル３」までの３つのパラメータの何れかを設定するものとする。ここでのオペレータによる再生レベルの設定の操作は、ステップＳ３０４と同様に、図２に示したシステムのいずれかの端末におけるキーボード或はタッチパネルなどの入力手段により、いずれかのレベルが選択されるが、再生レベルの設定の場合は、入力した文書画像理解データがいずれの保存レベルで保存されたデータであるかによって選択可能な再生レベルが限定されているため、文書画像理解データ１１１に付されているタグが示す保存レベルに応じて可能な再生レベルを判定して表示器に表示することにより、オペレータに提示してもよい。次にステップＳ４０３に進み、文書画像理解再生部１１４において、レイアウト解析データ１０７およびステップＳ４０２で設定された再生レベルを基にして、文書画像理解データ１１１から適応的に再生条件を変更しながら再生文書画像データ１１５を作成する。
【００４２】
図１２は、このステップＳ４０３における文書画像理解データ１１１に基づく画像再生処理を示すフローチャートである。
【００４３】
図１２において、まずステップＳ１００１で、文書画像理解データ１１１に全体画像データが保存されているか否かを調べる。もし全体画像データが保存されていない場合にはステップＳ１００３に進み、強制的に「レベル１」の文書画像理解データの再生処理を行う。もし全体画像データが保存されている場合はステップＳ１００２に進み、ステップＳ４０２で設定された再生レベルを判定し、それぞれのレベルに応じた文書画像理解データの再生処理（Ｓ１００３〜Ｓ１００５のいずれか）に処理を分岐させる。
【００４４】
図１３は、再生レベルが「レベル１」の場合の処理（Ｓ１００３）を示すフローチャートである。
【００４５】
図１３において、まずＳ１１０１で、再生文書画像の下地となる画像を白い下地となるように作成する。次にステップＳ１１０２に進み、文書画像理解データ１１１から部分画像データを取り出し、ステップＳ１１０３で、その取り出した部分画像とその座標データから白い下地画像と合成して再生画像を作成する。
【００４６】
このステップＳ１１０３における再生合成処理の一例を図１６のフローチャートで示す。
【００４７】
図１６において、まずステップＳ１４０１において、文書画像理解データ１１１から部分画像の画像タイプを抽出し、ステップＳ１４０２において、画像タイプが『二値画像タイプ』であればステップＳ１４０３に進み、二値画像の黒、白画素をそれぞれ２４ビット多値画像の黒、白画素データに変換する疑似２４ビット化の処理を行う。
【００４８】
本実施の形態では、二値画像の黒画素は“１”、白画素は“０”、２４ビット多値画像の黒画素は、Ｒ＝０、Ｇ＝０、Ｂ＝０であり、白画素はＲ＝２５５、Ｇ＝２５５、Ｂ＝２５５（Ｒは赤成分、Ｇは緑成分、Ｂは青成分で、各８ビットの値を持つ）としている。
【００４９】
またステップＳ１４０２において、画像タイプが『２４ビット多値画像タイプ』であれば、そのままの部分画像を合成に用いる。こうしてステップＳ１４０４に進み、下地画像と部分画像に対し部分画像の各画素の論理演算を行い合成画像を作成する。
【００５０】
本実施の形態では、下地画像の白画素（Ｒ＝２５５，Ｇ＝２５５、Ｂ＝２５５）と部分画像の黒画素（Ｒ＝０，Ｇ＝０，Ｂ＝０）の合成画像が黒画素（Ｒ＝０，Ｇ＝０，Ｂ＝０）となるように論理演算を用いている。
【００５１】
以上のような処理によって、１つの部分画像データに対して再生合成処理（図１３のＳ１１０３）を終了するとステップＳ１１０４に進み、残りの部分画像データが存在しているか否かを調べ、存在していればステップＳ１１０２に戻り、残りの部分画像データについて上記の処理を繰り返す。残りの部分画像データが存在していなければ、文書画像理解再生処理を終了する。
【００５２】
そして再び図１１のステップＳ４０４に進み、画像出力部１１６であるモノクロプリンタ２０８、２１１等により再生画像を出力する。
【００５３】
また、図１２のステップＳ１００２で、判定された再生レベルが「レベル２」の場合はステップＳ１００４に進み、図１４のフローチャートで示す文書画像理解再生処理を実行する。
【００５４】
ここでは前述の「再生レベル１」の場合と同様に、まずステップＳ１２０１において、再生文書画像の下地となる画像を白い下地となるように作成する。次にステップＳ１２０２に進み、文書画像理解データ１１１から部分画像データを取り出し、ステップＳ１２０３で、各分割領域のレイアウト解析データ１０７を分析して各領域の領域属性を求める。ここでもし、領域属性が『テキスト』であればステップＳ１２０５に進み、この取り出した部分画像データとその座標データから白い下地画像と合成して再生画像を作成する。また領域属性が『テキスト』でなければステップＳ１２０４に進み、その座標データを用いて、全体画像から画像を切り取り、部分画像として取り出す。そしてステップＳ１２０５で、その部分画像と白い下地画像と合成し再生画像を作成する。
【００５５】
以上のような処理によって、１つの部分画像データに対してステップＳ１２０５の再生合成処理を終了したら、次にステップＳ１２０６において残りの部分画像データが存在しているか否かを調べ、存在していればステップＳ１２０２に戻り、残りの部分画像データについて上記の処理を繰り返す。残りの部分画像データが存在していなければ、文書画像理解データの再生処理を終了する。
【００５６】
こうして図１１のステップＳ４０４において、画像出力部１１６であるモノクロプリンタから再生画像を出力文書として出力する。
【００５７】
また、図１２のステップＳ１００２で、判定された再生レベルが「レベル３」の場合はステップＳ１００５に進み、図１５のフローチャートで示す文書画像理解再生処理を実行する。
【００５８】
図１５において、まずステップＳ１３０１で、全体画像データを取り出し、全体画像を再生文書画像の下地として用いる。次にステップＳ１３０２に進み、文書画像理解データ１１１から部分画像データを取り出し、ステップＳ１３０３で、各分割領域のレイアウト解析データ１０７を分析して、各領域の領域属性を求める。ここでもし、領域属性が『テキスト』であればステップＳ１３０４に進み、その取り出した部分画像データとその座標データから下地画像と合成して再生画像を作成する。またもし、領域属性が『テキスト』でなければステップＳ１３０５に進み、その領域についての部分画像の合成処理は行わない。
【００５９】
以上のような処理によって、１つの部分画像データに対して再生合成処理（Ｓ１３０４）を終了したら、ステップＳ１３０５おいて残りの部分画像データが存在しているか否かを調べ、存在していればステップＳ１３０２に戻り、残りの部分画像データについて上記の処理を繰り返す。一方、残りの部分画像データが存在していなければ、文書画像理解再生処理を終了する。
【００６０】
こうして図１１のステップＳ４０４において、画像出力部１１６であるモノクロプリンタから再生画像を出力文書として出力する。
【００６１】
以上説明したように本実施の形態１によれば、入力した文書画像に含まれる画像の属性に応じて部分画像に分割し、その画像の属性に応じて保存し、かつ再生することにより、保存する文書画像のデータ量を削減でき、再生された画像の質を高品位に保つことができる。
【００６２】
［実施の形態２］
次に本発明の実施の形態２について説明する。この実施の形態２では、前述の実施の形態１では、保存レベル設定処理（Ｓ３０４）や再生レベル設定処理（Ｓ４０２）操作者による設定処理に基づいて行っていたのに対し、この実施の形態２では、それを自動化したことを特徴としている。
【００６３】
以下に、保存レベル設定処理の自動化の例における処理の流れについて、図１７のフローチャートに従って説明する。
【００６４】
本実施の形態２では、保存レベル設定処理（Ｓ３０４）に入ったら、まずステップＳ９０１で、各分割領域のレイアウト解析データ１０７を取り出し、次にステップＳ９０２において、非『テキスト』領域のサイズの検査を行う。
【００６５】
本実施の形態２では、検査条件の一例として、領域サイズの高さ（ｈ）が閾値（Ｔｈ）より大きい場合、或は幅（ｗ）が閾値（Ｔｗ）より大きい場合、或は、領域面積（ｓ）が閾値（Ｔｓ）よりも大きい場合に、検査結果を「ＮＧ」とし、それ以外の場合を「ＯＫ」とする。ステップＳ９０２における検査結果が「ＯＫ」であればステップＳ９０３に進み、「保存レベル１」を設定する。一方、ステップＳ９０２で、検査結果が「ＮＧ」であればステップＳ９０４に進み、検査を実行する。このステップＳ９０４では、非『テキスト』領域の個数の検査を行う。
【００６６】
このステップＳ９０４では、検査条件の一例として、非『テキスト』領域の個数（ｎ）が閾値（Ｔｎ）よりも多い場合に検査結果を「ＮＧ」とし、それ以外の場合を「ＯＫ」とする。ここで検査結果が「ＯＫ」であればステップＳ９０３において「保存レベル１」を設定する。また検査結果が「ＮＧ」であればステップＳ９０５の検査を実行する。このステップＳ９０５では、『テキスト』領域と非『テキスト』領域の重複の度合いの検査を行う。
【００６７】
このステップＳ９０５では、検査条件の一例として『テキスト』領域と非『テキスト』領域の重複面積の大きさ（ｄ）が閾値（Ｔｄ）よりも大きい場合に検査結果を「ＮＧ」とし、それ以外の場合を「ＯＫ」とする。ここで検査結果が「ＯＫ」であればステップＳ９０６に進み、「保存レベル２」を設定する。また検査結果が「ＮＧ」であればステップＳ９０７に進み、「保存レベル３」を設定して保存レベルの自動設定処理を終了する。
【００６８】
なお、本発明は複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００６９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００７０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００７１】
以上説明したように本実施の形態によれば、
（１）文書画像の保存時における、データ量の削減。
（２）文書画像の配信時における、ネットワークトラフィックへの負荷軽減。
（３）文書画像の保存、配信時における、再利用に適した高画質の維持。
（４）出力時の文書画像の画質劣化や情報欠落の防止。
（５）ＤＴＰ（デスクトップパブリッシング）等の電子文書への再利用の容易化等が図れるという効果がある。
【００７２】
【発明の効果】
以上説明したように本発明によれば、入力した多値の文書画像のデータ量を削減して記憶し、それらを読み出して高品位に再生できるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像処理システムの機能構成を示す機能ブロック図である。
【図２】本実施の形態に係る画像処理システムの構成を示す概念図である。
【図３】本実施の形態に係る画像処理システムにおける画像入力から文書画像理解データ出力までの処理を示すフローチャートである。
【図４】本実施の形態に係るレイアウト解析データの構成を説明する図である。
【図５】本実施の形態に係る文書画像理解保存処理を示すフローチャートである。
【図６】本実施の形態における保存レベル１での文書画像理解保存処理を示すフローチャートである。
【図７】本実施の形態における保存レベル２での文書画像理解保存処理を示すフローチャートである。
【図８】本実施の形態における保存レベル３での文書画像理解保存処理を示すフローチャートである。
【図９】本実施の形態に係る文書画像理解データの構成を説明する図である。
【図１０】文書画像データの画像タイプと圧縮方式の識別番号を説明する図である。
【図１１】本実施の形態に係る文書画像理解データの入力から再生画像の出力までの処理を示すフローチャートである。
【図１２】本実施の形態に係る文書画像理解再生処理を示すフローチャートである。
【図１３】本実施の形態に係る再生レベル１での文書画像理解再生処理を示すフローチャートである。
【図１４】本実施の形態に係る再生レベル２での文書画像理解再生処理を示すフローチャートである。
【図１５】本実施の形態に係る再生レベル３での文書画像理解再生処理を示すフローチャートである。
【図１６】本実施の形態に係る図１３のＳ１１０３の再生画像合成処理を示すフローチャートである。
【図１７】本発明の実施の形態２に係る保存レベルの自動設定処理を示すフローチャートである。
【図１】
0003880240.tif 000002
【図２】
0003880240.tif 000003
【図３】
0003880240.tif 000004
【図４】
0003880240.tif 000005
【図５】
0003880240.tif 000006
【図６】
0003880240.tif 000007
【図７】
0003880240.tif 000008
【図８】
0003880240.tif 000009
【図９】
0003880240.tif 000010
【図１０】
0003880240.tif 000011
【図１１】
0003880240.tif 000012
【図１２】
0003880240.tif 000013
【図１３】
0003880240.tif 000014
【図１４】
0003880240.tif 000015
【図１５】
0003880240.tif 000016
【図１６】
0003880240.tif 000017
【図１７】
0003880240.tif 000018