(57)【要約】【課題】  原稿のレイアウトを保持しながら、データ量を少なくでき、しかも、再生出力する際に画質劣化することを抑え、且つ、セキュリティーに優れたものとすることも可能とする。【解決手段】  原稿画像は画像入力部２１０２で多値画像データ（原画）として入力される。また、多値画像データは二値画像出力部２１０４で二値化され、この二値化画像に基づいてレイアウト解析が行われる。そしてこのレイアウト解析結果に基づき、テキスト領域については暗号化処理部２１１６が暗号化を行なう。そして、暗号化データと、領域の画像データ、及びレイアウト解析結果を保存する。【選択図】  図１８
2008109692.tif 000002
【特許請求の範囲】
【請求項１】
原稿を多値画像データとして入力する入力手段と、
入力した多値画像データから二値画像データを生成する二値画像生成手段と、
生成した二値画像データから属性毎の部分画像のレイアウトを解析し、レイアウト情報を生成するレイアウト解析手段と、
該レイアウト解析手段の解析結果に基づいて、所定属性の部分画像について暗号化して暗号化データを生成する暗号化手段と、
前記レイアウト解析手段の解析結果に基づいて、各部分画像を適応的に保存条件を変え、前記暗号化手段で暗号化された暗号化データ、領域の画像データ、及び前記レイアウト解析手段のレイアウト解析情報を画像理解データとして保存する保存手段と、
該保存手段で保存された画像理解データを他の装置に出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記暗号化手段は、暗号化しようとする属性を指定する指定手段を含み、当該指定手段で指定された属性について暗号化処理することを特徴とする請求項第１項に記載の画像処理装置。
【請求項３】
前記暗号化手段は、暗号化しようとする領域を指定する指定手段を含み、当該指定手段で指定された領域について暗号化処理することを特徴とする請求項第１項に記載の画像処理装置。
【請求項４】
更に文字認識手段を有し、前記レイアウト解析手段は、各部分画像がテキスト領域か否かを判断する手段を含み、当該手段によってテキスト領域と判断された部分画像について前記文字認識手段で文字認識し、前記暗号化手段で暗号化することを特徴とする請求項第１項に記載の画像処理装置。
【請求項５】
請求項第１項乃至第４項のいずれかに記載の前記他の装置としての画像再生装置であって、
出力された画像理解データ中の暗号化データが存在するとき、暗号化を解除する手段を備え、当該手段で暗号化を解除したのち、適応的に再生条件を変更して再生し、レイアウト解析情報に基づくレイアウトにして出力する出力手段と
を備えることを特徴とする画像再生装置。
【請求項６】
原稿を多値画像データとして入力する入力工程と、
入力した多値画像データから二値画像データを生成する二値画像生成工程と、
生成した二値画像データから属性毎の部分画像のレイアウトを解析し、レイアウト情報を生成するレイアウト解析工程と、
該レイアウト解析工程の解析結果に基づいて、所定属性の部分画像について暗号化して暗号化データを生成する暗号化工程と、
前記レイアウト解析工程の解析結果に基づいて、各部分画像を適応的に保存条件を変え、前記暗号化工程で暗号化された暗号化データ、領域の画像データ、及び前記レイアウト解析工程のレイアウト解析情報を画像理解データとして保存する保存工程と、
該保存工程で保存された画像理解データを他の装置に出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項７】
コンピュータが読み込み実行するコンピュータプログラムコードを格納する記憶媒体であって、
原稿を多値画像データとして入力する入力手段と、
入力した多値画像データから二値画像データを生成する二値画像生成手段と、
生成した二値画像データから属性毎の部分画像のレイアウトを解析し、レイアウト情報を生成するレイアウト解析手段と、
該レイアウト解析手段の解析結果に基づいて、所定属性の部分画像について暗号化して暗号化データを生成する暗号化手段と、
前記レイアウト解析手段の解析結果に基づいて、各部分画像を適応的に保存条件を変え、前記暗号化手段で暗号化された暗号化データ、領域の画像データ、及び前記レイアウト解析手段のレイアウト解析情報を画像理解データとして保存する保存手段と、
該保存手段で保存された画像理解データを他の装置に出力する出力手段
として機能するプログラムコードを格納する記憶媒体。
【請求項８】
画像データ発生装置と再生装置で構成される画像処理システムであって、
前記画像データ発生装置は、
原稿を多値画像データとして入力する入力手段と、
入力した多値画像データから二値画像データを生成する二値画像生成手段と、
生成した二値画像データから属性毎の部分画像のレイアウトを解析し、レイアウト情報を生成するレイアウト解析手段と、
該レイアウト解析手段の解析結果に基づいて、所定属性の部分画像について暗号化して暗号化データを生成する暗号化手段と、
前記レイアウト解析手段の解析結果に基づいて、各部分画像を適応的に保存条件を変え、前記暗号化手段で暗号化された暗号化データ、領域の画像データ、及び前記レイアウト解析手段のレイアウト解析情報を画像理解データとして保存する保存手段と、
該保存手段で保存された画像理解データを他の装置に出力する出力手段
とを備え、
前記画像再生装置は、
出力された画像理解データ中の暗号化データが存在するとき、暗号化を解除する手段を備え、当該手段で暗号化を解除したのち、適応的に再生条件を変更して再生し、レイアウト解析情報に基づくレイアウトにして出力する出力手段とを備える
ことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体、より詳しきは文書画像を読み取り処理する画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体に関するものである。
【背景技術】
【０００２】
従来、文書画像処理に関する技術としては、文書を光学的に入力し、全体の画像を印刷して出力する複写機や、文書を光学的に入力し、その文書画像を保存する文書データベースシステム、文書を光学的に入力し、ネットワーク或いは回線を介してその文書画像を出力するファクシミリ装置、文書を光学的に入力し、文字を認識してテキストコードを出力するＯＣＲ等の技術が存在する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、これまでの技術ではデジタル化やネットワーク化に適応できなくなっている。つまり、入力機器と出力機器がネットワークで接続されるようになったことや、文書のカラー化等により、
１）入力文書画像をそのまま保存、配信したのでは、データ量が大きくなる。
２）文書画像を一律に圧縮したのでは再利用に適した画質を保つことができない。
３）白黒プリンターやカラープリンター等の出力機器の違いによっては出力画質が劣化する。
４）文字認識処理（ＯＣＲ）を用いてテキストのみを配信すると図や写真等の情報の欠落がある。
５）ＯＣＲによって誤認識があった場合には、意味の欠落がある。
【０００４】
という問題がクローズアップされるようになった。
【０００５】
第１の発明はかかる問題点に鑑みなされたものであり、原稿のレイアウトを保持しながら、データ量を少なくでき、しかも、再生出力する際に画質劣化することを抑えることを可能ならしめる画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体を提供しようとするものである。
【０００６】
また、第２の発明は、上記第１の発明に加えてセキュリティーに優れた画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体を提供しようとするものである。
【０００７】
そして、第３の発明は、上記第１の発明に加えて、画像中のテキストについて自然言語の違いを吸収できる画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体を提供しようとするものである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、例えば第１、第２の発明の課題を解決する画像処理装置は以下の構成を備える。すなわち、
原稿を多値画像データとして入力する入力手段と、
入力した多値画像データから二値画像データを生成する二値画像生成手段と、
生成した二値画像データから属性毎の部分画像のレイアウトを解析し、レイアウト情報を生成するレイアウト解析手段と、
該レイアウト解析手段の解析結果に基づいて、所定属性の部分画像について暗号化して暗号化データを生成する暗号化手段と、
前記レイアウト解析手段の解析結果に基づいて、各部分画像を適応的に保存条件を変え、前記暗号化手段で暗号化された暗号化データ、領域の画像データ、及び前記レイアウト解析手段のレイアウト解析情報を画像理解データとして保存する保存手段と、
該保存手段で保存された画像理解データを他の装置に出力する出力手段とを備える。
【発明の効果】
【０００９】
本発明によれば、原稿のレイアウトを保持しながら、データ量を少なくでき、しかも、再生出力する際に画質劣化することを抑えることが可能になる。更に、セキュリティーに優れたものとすることも可能になる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１１】
［第１の実施形態］
図１は第１の実施形態における構成概念とデータの流れを示す図である。
【００１２】
同図において、１０１は入力される対象となる印刷物やコンピュータ上で扱う画像データ等を含む入力文書、１０２は文書を画像データとして入力する画像入力部（例えばイメージスキャナ）、１０３は画像入力部から入力された元画像データ、１０４は入力文書画像から二値画像を作成する二値化処理部、１０５は作成された二値画像データ、１０６は二値画像１０５をもとにして文書を、図、テキスト、表等の各種属性毎の領域に分割した情報、すなわちレイアウト解析データを出力するレイアウト解析部、１０７はレイアウト解析データである。
【００１３】
また、１０８はレイアウト解析データをもとにして、二値画像の任意の領域の文字を認識しコード情報等を文字認識データとして出力する文字認識部、１０９は文字認識データ、１１０はレイアウト解析データをもとにして、入力文書元画像及び二値画像から適応的に保存条件を変更しながら画像データおよび文字認識データを文書画像理解データとして保存する文書画像理解データ保存部、１１１は文書画像理解データを出力する文書画像理解データ出力部、１１２は文書画像理解データ、１１３は文書画像理解データを入力する文書画像理解データ入力部、１１４は文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する文書画像理解再生部、１１５は再生文書画像、１１６は再生文書画像を出力する画像出力部、１１７は出力文書である。
【００１４】
また、図２は第１の実施形態を表わすシステム装置構成の例を示している。
【００１５】
同図において、２０１は文書画像理解処理（例えば図１における文書画像理解データ出力部１１１までの処理）を行うコンピュータ、２０２はデータを保存する記憶装置、２０３は画像入力を専用的に行うスキャナ、２０４はカラープリンタ、２０５はファクシミリ、２０６はカラー画像の入力及びプリント出力を複合的に行うデジタルカラー複写機（カラースキャナとカラープリンタとしての機能を有する）、２０７はプリンタを管理するプリンタサーバ、２０８はモノクロプリンタ、２０９はデータベースを管理するファイルサーバ、２１０はデータべ−ス、２１１はモノクロ画像の入力及びプリント出力を複合的に行うデジタル複写機、２１２は各デジタル機器間を接続するネットワークである。
【００１６】
次に処理の流れについて図３乃至図１０のフローチャート、及び図１、図２、図１４乃至図１７に従って説明する。
【００１７】
本実施形態では、原稿画像を２４ビット（ＲＧＢそれぞれ８ビット）多値画像データとしてスキャナ（２０３や２０６）より入力し、ネットワークで配信して、配信先でモノクロプリンター（２０８や２１１あるいは２０５）に出力する場合の画像理解処理システムについて説明する。
【００１８】
まず、コンピュータ２０１は、図３のステップＳ３０１において、画像入力部１０２（図１におけるスキャナ２０３）より文書画像を多値画像として入力する。
【００１９】
次に、ステップＳ３０２で、二値化処理部１０４により二値画像を作成する。二値画像の作成方法は、読み取った画像データＲＧＢ（各８ビット）から輝度成分を算出し、その算出した輝度を所定の閾値と比較することで行うものとする。
【００２０】
ステップＳ３０３では、こうして作成された二値画像をもとに、レイアウト解析部１０６により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。レイアウト情報は、図１５（ａ）に示す如く、１ページの原稿画像に対し、複数の矩形領域（部分画像）が設定され、部分画像の個数のデータが格納される。各部分画像は、識別情報（レイアウト領域ＩＤ）、切り取り幅、高さ、画像タイプ、圧縮方式、画像サイズ、そして切り取り画像データで構成されている。画像タイプには、同図（ｂ）の如く、二値画像か２４ビット多値画像かを識別情報、圧縮方式は同図（ｃ）の如くＭＭＲ，ＪＰＥＧ等がある。なお、画像タイプ、圧縮方式の種類及び数はこれ以外であっても良いのは勿論である。
【００２１】
次にステップＳ３０４においてテキストや表等の文字を含む領域の文字画像に対し文字認識（文字認識）処理を行い、ステップＳ３０５で、文書画像理解データ保存部（１０８）においてレイアウト解析データをもとにして、文字認識データならびに、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【００２２】
ここで、具体的な文書画像理解データ保存処理の例を図５、図６、図７，図８のフローチャートに沿って説明する。
【００２３】
本例では、文書画像理解データ保存処理（Ｓ３０５）に入ると、まずステップＳ５０１で各分割領域のレイアウト解析データを分析して各領域の領域属性ならびに文書レイアウトタイプを分類する。
【００２４】
文書タイプの分類の例については図６に一例を示す。
【００２５】
まず、ステップＳ６０１において、文書全体の面積（ＡＳ１）を算出する。
【００２６】
次にステップＳ６０２において、領域属性が『テキスト』および『表』の領域面積の総和（ＤＳ１）を算出し、ステップＳ６０３において、総和面積（ＤＳ１）が文書全体の面積（ＡＳ１）に対して、あらかじめ定めた割合（ＴＳ１［％］）より大である。すなわち
ＤＳ１＞ＡＳ１×ＴＳ１／１００
であれば、その文書は「テキスト系」レイアウト文書と判断する（ステップＳ６０４）。
【００２７】
また、ステップＳ６０３において、テキスト系と判断されない場合に、領域属性『線図形』および『絵、写真』の領域面積の総和（ＰＳ１）を算出し（ステップＳ６０５）、ステップＳ６０６において、先に算出した『テキスト』および『表』の領域面積の総和（ＤＳ１）が領域属性『線図形』および『絵、写真』の総和面積（ＰＳ１）よりも大の場合、
すなわち
ＤＳ１＞ＰＳ１
であれば、その文書は「テキスト系」レイアウト文書と判断する。（ステップＳ６０４）
上記以外の場合であれば、ステップＳ６０７において、その文書は「ピクチャー系」レイアウト文書と判断する。
【００２８】
図５に戻って、上記のようにして文書レイアウトタイプが決定されると、ステップＳ５０２に進み、それぞれのレイアウトタイプによって分岐する。文書レイアウトタイプが「ピクチャー系」である場合は、ステップＳ５０３において、ピクチャー系文書画像理解データ保存処理を行う。
【００２９】
図７を用いて、このピクチャー系文書画像理解データ保存処理について更に詳細に説明する。
【００３０】
ピクチャー系文書画像理解データ保存処理においてはまず、ステップＳ７０１で各分割領域のレイアウト解析データを再度分析して、次に、ステップＳ７０２において領域属性が『テキスト』であれば、ステップＳ７０３で切り取り先全体画像として二値画像を選択し、ステップＳ７０５でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【００３１】
また、ステップＳ７０２において、領域属性が『テキスト』でなかった場合は、ステップＳ７０４において切り取り先全体画像として元画像である多値画像を選択し、ステップＳ７０５でレイアウト解析データの領域の座標データを用いてその部分画像である多値画像を切り取る。
【００３２】
次にステップＳ７０６において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ７０７において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ７０９において文書画像理解データ（図１４）として保存処理を行う。
【００３３】
このとき、文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【００３４】
また、ステップＳ７０６において調べた結果が、多値画像タイプであったならば、ステップＳ７０８において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ７０９において文書画像理解データ（図１４）として保存処理を行う。
【００３５】
さらに詳細な本例の文書画像理解データの例は、図１４、図１５および図１６に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像情報として保存する。
【００３６】
次にステップＳ７１０において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ７０１に戻り、残りの分割領域について上記の処理を繰り返し、全ての分割領域に対して行うと、文書画像理解データ保存処理を終了する。
【００３７】
図５に戻る。同図のステップＳ５０２において文書レイアウトタイプが「テキスト系」である場合は、処理はステップＳ５０４に進み、テキスト系文書画像理解データ保存処理を行う。
【００３８】
この文書タイプがテキスト系の場合の文書画像理解保存処理を図８のフローチャート、及び図１３，１５に従って説明する。
【００３９】
本例では、文書画像理解保存処理（図３のステップＳ３０５）に入ったら、まずステップＳ８０１で各分割領域のレイアウト解析データを再度分析して各領域の領域属性を求める。
【００４０】
次に、ステップＳ８０２において領域属性が『テキスト』であれば、ステップＳ８０３でその領域の文字認識データを選択し、ステップＳ８０４でその文字認識データを文書画像理解データとして（図１４）として保存する。
【００４１】
さらに詳細な本例の文書画像理解データの例は、図１７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、行数、行間隔、第一位から第ｎ位までの文字コード、第一位から第ｎ位までの文字認識距離、文字フォントタイプ、文字サイズ、文字位置の座標、不確実フラグ、等を文字認識データとして保存する。
【００４２】
また、ステップＳ８０２で領域属性が『テキスト』でなかった場合は、ステップＳ８０５において切り取り先全体画像として元画像を選択し、ステップＳ８０６でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【００４３】
ステップＳ８０７において、本例の場合、元画像は多値画像であると判定されるので、ステップＳ８０８において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ８０９において文書画像理解データ（図１４）として保存処理を行う。
【００４４】
このとき、文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【００４５】
さらに詳細な本例の文書画像理解データの例は、図１６に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像情報として保存する。
【００４６】
次にステップＳ８１０において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ８０１に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解保存処理を終了する。
【００４７】
以上のようにして、文書画像に対するレイアウトタイプ毎の理解データが保存されると、処理は図５のステップＳ５０５に進み、保存された文書画像理解データを出力する。
【００４８】
さらに、本実施形態では文書画像理解データ保存部（１１０）において作成・保存された文書画像理解データは文書画像理解データ出力部（１１１）によりネットワーク上に出力され、ネットワークを介して利用先に配信される。
【００４９】
利用先（クライアントでもある）では、図４に示すように、ステップＳ４０１において文書画像理解データ入力部（１１３）により文書画像理解データを入力し、ステップＳ４０２において文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する。
【００５０】
この具体的な文書画像理解データ再生処理の例を図９に従って説明する。
【００５１】
まず、ステップＳ９０１において再生文書画像の下地となる画像を白い下地となるように作成する。
【００５２】
次に、ステップＳ９０２において文書画像理解データを分析し、ステップＳ９０３で、部分領域属性の検査を行い、属性が『テキスト』であるならば、ステップＳ９０４において文字認識データが存在するか否かを検査する。
【００５３】
文字認識データが存在するならば、ステップＳ９０５において文書画像理解データから文字認識データ（文字コードを含む）を取り出し、ステップＳ９０６で、取り出した文字認識データから文字フォントを白い下地画像と合成し再生画像を作成する。
【００５４】
また、ステップＳ９０３の検査で部分領域の属性が非『テキスト』であるか、ステップＳ９０４の検査で文字認識データが存在しないならば、ステップＳ９０７において文書画像理解データから部分領域の画像データを取り出し、ステップＳ９０８において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【００５５】
再生画像合成処理（ステップＳ９０８）の一例としては、図１０に示すように、ステップＳ１００１において文書画像理解データから部分画像の画像タイプを抽出し、ステップＳ１００２において、画像タイプが『二値画像タイプ』であれば、ステップＳ１００３において、二値画像の黒、白画素をそれぞれ２４ビット多値画像の黒、白画素に変換する疑似２４ビット化の処理を行う。
【００５６】
本例では、二値画像の黒画素は１、白画素は０、２４ビット多値画像の黒画素は、Ｒ＝０，Ｇ＝０，Ｂ＝０であり、白画素はＲ＝２５５，Ｇ＝２５５，Ｂ＝２５５（ＲはＲｅｄ成分、ＧはＧｒｅｅｎ成分、ＢはＢｌｕｅ成分で各８ビットの値を持つ。）としている。
【００５７】
またステップＳ１００２において、画像タイプが『２４ビット多値画像タイプ』であればそのままの部分画像を合成に用いる。
【００５８】
つぎに、ステップＳ１００４において下地画像と部分画像に対し部分画像の各画素の論理演算を行い合成画像を作成する。
【００５９】
本例では、下地画像の白画素（Ｒ＝２５５，Ｇ＝２５５，Ｂ＝２５５）と部分画像の黒画素（Ｒ＝０，Ｇ＝０，Ｂ＝０）の合成画像が黒画素（Ｒ＝０，Ｇ＝０，Ｂ＝０）となるように論理演算を用いている。
【００６０】
以上のような処理によって１つの部分画像に対して再生合成処理（Ｓ９０８）を終了したら、ステップＳ９０９において残りの部分領域が存在しているか否かを調べ、存在していればステップＳ９０２に戻り、残りの部分領域について上記の処理を繰り返す。残りの部分領域が存在していなければ、文書画像理解データ再生処理を終了する。
【００６１】
図４に戻って、上記のようにして再生処理が行われると、ステップＳ４０３において画像出力部（１１６）であるモノクロプリンターから再生画像を出力文書として出力する。
【００６２】
［第２の実施形態］
文書画像理解データ保存処理（ステップＳ３０５）において、レイアウト解析結果で領域属性がテキストとなった文書でも、画像の状態が文字認識処理に不適切な状態（ノイズ存在や、低解像度画像等）である場合に、不確実な文字認識データではなく確実な画像データを保存することも可能である。
【００６３】
以下に具体的な文書画像理解データ保存処理の他の例を図１１のフローチャートにしたがって説明する。
【００６４】
本例では、文書画像理解データ保存処理（ステップＳ３０５）に入ったら、まずステップＳ１１０１で各分割領域のレイアウト解析データを分析して各領域の領域属性ならびに文書レイアウトタイプを分類する（図６）。
【００６５】
ここで、ステップＳ１１０２においてピクチャー系文書レイアウトと判定された場合は、ステップＳ１１０６においてピクチャー系文書レイアウトとして文書画像理解データ保存処理（図７）を実行する。
【００６６】
また、ステップＳ１１０２においてテキスト系文書レイアウトと判定された場合は、ステップＳ１１０３において全体文字認識信頼度（ＺＮｒ）を算出する。
【００６７】
全体文字認識信頼度の一例としては、各文字ごとの認識演算結果である認識距離値（Ｄ）が、あらかじめ定めた閾値（Ｔｄ）未満である場合、
すなわち
Ｄ＜Ｔｄ
である場合にその文字に対して不確実な文字であるとして文字認識データの不確実フラグを有効（＝“１”）にし、その不確実フラグが有効でない（＝“０”）文字数の和（ｎ）を求め、全体の文字数（Ｎ）に対する割合（ｎ／Ｎ）を全体文字認識信頼度（ＺＮｒ）としている。
すなわち
ＺＮｒ＝ｎ／Ｎ
として求める。
【００６８】
次にステップＳ１１０３において、全体文字認識信頼度（ＺＮｒ）を検査し、全体文字認識信頼度があらかじめ定めた閾値（Ｔｒ）より大、
すなわち
ＺＮｒ＞Ｔｒ
であればＯＫとし、ステップＳ１１０５においてテキスト系文書レイアウトとして文書画像理解データ保存処理（図８）を実行する。
【００６９】
また、
ＺＮｒ≦Ｔｒ
であればＮＧとし、ステップＳ１１０６においてピクチャー系文書レイアウトとして文書画像理解データ保存処理（図７）を実行する。
【００７０】
以上の結果、原稿文書の品位が悪い、或いはそこに印刷されている文字品位が悪い場合には、誤認識される率が高くなるので、認識結果を保存せず、ピクチャー系文書とすることが可能になる。従って、クライアント側で再生する場合にはオリジナルの原稿画像に忠実な再生が可能になる。
【００７１】
［第３の実施形態］
文書画像理解データ保存処理（ステップＳ３０５）において、レイアウト解析結果で領域属性がテキストとなった文書でも、部分領域毎に画像の状態が文字認識処理に不適切な状態（ノイズ存在や、低解像度画像等）であるか否かを判断し、不適切な画像と判断した場合に、不確実な文字認識データだけではなく確実な画像データをも併せて保存することも可能である。
【００７２】
以下に具体的な文書画像理解データ保存処理の例を図１２のフローチャートにしたがって説明する。
【００７３】
本例では、文書画像理解データ保存処理（ステップＳ３０５）に入ったら、まず図５のように各分割領域のレイアウト解析データを分析して各領域の領域属性ならびに文書レイアウトタイプを分類する。
【００７４】
つぎにテキスト系文書レイアウトと判断された場合に、ステップＳ１２０１においてレイアウト解析データを再度分析し、ステップＳ１２０２で部分領域属性の検査を行い、属性が『テキスト』であるならば、ステップＳ１２０３で文字認識データを選択し、ステップＳ１２０４で文字認識データ保存処理を行った上、さらにステップＳ１２０５で部分領域の文字認識信頼度（ＺＭｒ）を算出する。
【００７５】
部分領域文字認識信頼度の一例としては、各文字ごとの認識演算結果である認識距離値（Ｄ）が、あらかじめ定めた閾値（Ｔｄ）未満である場合、
すなわち
Ｄ＜Ｔｄ
である場合にその文字に対して不確実な文字であるとして文字認識データの不確実フラグを有効（１）にし、その部分領域内における、不確実フラグが有効でない（０）文字数の和（ｍ）を求め、その領域内の文字数（Ｍ）に対する割合（ｍ／Ｍ）を部分領域文字認識信頼度（ＺＭｒ）として用いる。
すなわち
ＺＭｒ＝ｍ／Ｍ
として求める。
【００７６】
次にステップＳ１２０６において、部分領域文字認識信頼度（ＺＭｒ）を検査し、部分領域文字認識信頼度があらかじめ定めた閾値（Ｔｒ）より大、
すなわち
ＺＭｒ＞Ｔｒ
であればＯＫとし、画像データの保存処理は実行せずに、ステップＳ１２１４において残りの部分領域が存在しているか否かを調べ、存在していればステップＳ１２０１に戻り、残りの部分領域について上記の処理を繰り返す。
【００７７】
残りの部分領域が存在していなければ、文書画像理解データ保存処理を終了する。
また、
ＺＭｒ≦Ｔｒ
であればＮＧとし、ステップＳ１２０７以降における画像データ保存処理を実行する。
【００７８】
［第４の実施形態］
文書画像理解再生処理時に文字認識データの信頼度に応じて文字フォントを合成するか、領域文字画像を合成するかを適応的に選択し処理することも可能である。
【００７９】
以下に処理の流れについて図４，図１３のフローチャートに従って説明する。
【００８０】
本例では部分領域毎に文字認識信頼度を求め文字フォントで出力するか領域画像で出力するかを選択する。また、文書画像領域データとして文字認識データおよび画像データの両方を持っているものとする。
【００８１】
本例ではまず、文書画像理解データの再生利用先において、ステップＳ４０１において文書画像理解データ入力部（１１３）により文書画像理解データを入力し、ステップＳ４０２において文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する。
【００８２】
この文書画像理解データ再生処理について図１３のフローチャートで説明する。
【００８３】
ステップＳ１３０１において再生文書画像の下地となる画像を白い下地となるように作成する。
【００８４】
次に、ステップＳ１３０２において文書画像理解データを分析し、ステップＳ１３０３で、部分領域の属性が『テキスト』であるならば、ステップＳ１３０４で、文字認識データの検査を行い、文字認識データがあるのであれば、ステップＳ１３０５で文書画像理解データから文字認識データを取り出し、ステップＳ１３０６において文字認識信頼度を調べる。
【００８５】
本例における文字認識信頼度の調べ方の一例としては、部分領域の文字認識データの不確実フラグの割合を用いるものとする。
【００８６】
具体的には、その部分領域内における、不確実フラグが有効でない（０）文字数の和（ｍ）を求め、その領域内の文字数（Ｍ）に対する割合（ｍ／Ｍ）を部分領域文字認識信頼度（ＺＭｒ）としている。
すなわち
ＺＭｒ＝ｍ／Ｍ
として求める。
【００８７】
次にステップＳ１３０７において、部分領域文字認識信頼度（ＺＭｒ）を検査し、部分領域文字認識信頼度があらかじめ定めた閾値（Ｔｒ２）より大、
すなわち
ＺＭｒ＞Ｔｒ２
である場合、ステップＳ１３０８で、取り出した文字認識データから文字フォントを白い下地画像と合成し再生画像を作成する。
【００８８】
もし、文字認識信頼度があらかじめ定めた閾値以下であるならば文書画像理解データから部分画像データを取り出し、ステップＳ１３０９において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【００８９】
また、ステップＳ１３０３で、部分領域の属性が非『テキスト』である場合も文書画像理解データから部分画像データを取り出し、ステップＳ１３０４において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【００９０】
以上のような処理によって１つの部分画像に対して再生合成処理（ステップＳ１３０９）を終了したら、ステップＳ１３１０において残りの部分領域が存在しているか否かを調べ、存在していればステップＳ１３０２に戻り、残りの部分領域について上記の処理を繰り返す。
【００９１】
残りの部分領域が存在していなければ、文書画像理解データ再生処理を終了する。
【００９２】
そして、ステップＳ４０３において画像出力部（ステップ１１４）から、合成した１ページの再生画像を出力文書として出力する。
【００９３】
以上説明したように第１乃至第４の実施形態によれば、
１）文書画像の保存時における、データ量の削減、
２）文書画像の配信時における、ネットワークトラフィックへの負荷軽減、
３）文書画像の保存、配信時における、再利用に適した高画質の維持、
４）出力時の文書画像の画質劣化や情報欠落の防止、
５）ＤＴＰ（デスクトップパブリッシング）等の電子文書への再利用の容易化、
等がはかれる効果がある。
【００９４】
［第５の実施形態］
上記実施形態に加えて、本第５の実施形態では、セキュリティーを重視する例を説明する。
【００９５】
図１８は第５の実施形態における構成概念とデータの流れを示す図である。
【００９６】
同図において、２１０１は入力される対象となる印刷物やコンピュータ上で扱う画像データ等を含む入力文書、２１０２は文書を画像として入力する画像入力部、２１０３は画像入力部から入力された元画像データ、２１０４は入力文書画像から二値画像を作成する二値画像出力部、２１０５は作成された二値画像、２１０６は二値画像をもとにして文書を図やテキストや表等の各種属性毎の領域に分割した情報すなわちレイアウト解析データを出力するレイアウト解析部、２１０７はレイアウト解析データ、２１０８はレイアウト解析データをもとにして、入力文書元画像及び二値画像から適応的に保存条件を変更しながら画像データ及び暗号化データを文書画像理解データとして保存する文書画像理解データ保存部、２１０９は文書画像理解データを出力する文書画像理解デーグ出力部、２１１０は文書画像理解データ、２１１１は文書画像理解データを入力する文書画像理解データ入力部、２１１２は文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する文書画像理解再生部、２１１３は再生文書画像、２１１４は再生文書画像を出力する画像出力部、２１１５は出力文書、２１１６は本第５の実施形態における特徴である、任意の領域の文字認識データならびに画像データを暗号化する暗号化処理部である。
【００９７】
上記のデータの流れ及び処理が行われるシステムは、図２と同様である。
【００９８】
次に処理の流れについて図１９、図２０、図２１のフローチャート、及び図１８、図２、図１４、図１５、図２７、図２８、図２９に従って説明する。
【００９９】
本実施形態でも、２４ビット多値画像をスキャナ（２０３や２０６）より入力し、『テキスト』属性の領域に対して自動的に暗号化して保存し、ネットワークで配信して、配信先でモノクロプリンター（２０８や２１１あるいは２０５）に出力する場合の画像理解処理システムについて示す。
【０１００】
まず、ステップＳ２３０１において、画像入力部（２１０２）であるスキャナより文書画像を多値画像データとして入力する。ステップＳ２３０２では、二値画像出力部（２１０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（２１０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報を出力する。このレイアウト情報は先に説明した第１の実施形態における図１５と同様である。
【０１０１】
次に、ステップＳ２３０４で文書画像理解保存部（２１０８）においてレイアウト解析データをもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。その際に、あらかじめ定められた特定領域のデータの暗号化処理も行う。
【０１０２】
本実施形態では、『テキスト』領域の画像データを暗号化するものとする。
【０１０３】
文書画像理解保存処理の例を図２０のフローチャート、及び図１４、図１５、図２７に従って説明する。
【０１０４】
本例では、文書画像理解保存処理（ステップＳ２３０４）に入ったら、まずステップＳ２５０１で各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。
【０１０５】
次に、ステップＳ２５０２において領域属性が『テキスト』であれば、ステップＳ２５０３で切り取り先全体画像として二値画像を選択し、ステップＳ２５０４でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１０６】
次にステップＳ２５０５で、その部分画像に対して暗号化処理を行い、暗号化データを作成し、ステップＳ５０６で、暗号化データを文書画像理解データとして保存する。
【０１０７】
さらに詳細な本例の文書画像理解データの例は図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび暗号化した切り取り画像を部分画像暗号化データとして保存する。この時暗号化フラグを有効（＝１）にすることでデータが暗号化されていることを示すようにする。
【０１０８】
また、ステップＳ２５０２において、領域属性が非『テキスト』であるならば、ステップＳ２５０７で切り取り先全体画像として元画像を選択し、ステップＳ２５０８でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１０９】
次にステップＳ２５０９において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ２５１０において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ２５１１において文書画像理解データ（図２７）として保存処理を行う。
【０１１０】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１１１】
また、ステップＳ２５０９において調べた結果が、多値画像タイプであったならば、ステップＳ２５１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ２５１１において文書画像理解データ（図２７）として保存処理を行う。
【０１１２】
本例の文書画像理解データの例は図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０１１３】
次にステップＳ２５１３において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ２５０１に戻り、残りの分割領域について上記の処理を繰り返す。
【０１１４】
残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。そして図１９のステップＳ２３０５に進んで、文書画像理解データを出力する。
【０１１５】
ここで、本実施形態では文書画像理解保存部（２１０８）において作成・保存された文書画像理解データは文書画像理解データ出力部（２１０９）によりネットワーク上に出力され、ネットワークを介して利用先に配信される。
【０１１６】
利用先では、先の第１の実施形態で説明したように、図４のフローチャートに従って処理することになる。つまり、ステップＳ４０１において文書画像理解データ入力部（２１１１）により文書画像理解データを入力し、ステップＳ４０２において文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する。
【０１１７】
本第５の実施形態における具体的な文書画像理解再生処理（ステップＳ４０２）の例を図２１のフローチャートに従って説明する。
【０１１８】
本例では、まず、ステップＳ２６０１において再生文書画像の下地となる画像を白い下地となるように作成する。次に、ステップＳ２６０２において文書画像理解データを分析し、ステップＳ２６０３で、部分領域の暗号化データにおける暗号化フラグが有効（＝１）であるならば、ステップＳ２６０４で、文書画像理解データから暗号化データを取り出し、暗号化解除をおこない、部分画像に戻す。
【０１１９】
また、暗号化フラグが有効になっていないのであるならば、ステップＳ２６０５で文書画像理解データから画像データを取り出す。そして、ステップＳ２６０６において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【０１２０】
再生合成処理（ステップＳ２６０６）の一例としては、第１の実施形態で説明した図１０のフローチャートに従うものである。
【０１２１】
つまり、ステップＳ１００１において文書画像理解データから部分画像の画像タイプを抽出し、ステップ１００２において、画像タイプが『二値画像タイプ』であれば、ステップＳ１００３において、二値画像の黒、白画素をそれぞれ２４ビット多値画像の黒、白画素に変換する疑似２４ビット化の処理を行う。
【０１２２】
本例では、二値画像の黒画素は１、白画素は０、２４ビット多値画像の黒画素は、Ｒ＝０、Ｇ＝０、Ｂ＝０であり、白画素はＲ＝２５５、Ｇ＝２５５、Ｂ＝２５５（ＲはＲｅｄ成分、ＧはＧｒｅｅｎ成分、ＢはＢｌｕｅ成分で各８ビットの値を持つ。）としている。
【０１２３】
またステップＳ１００２において、画像タイプが『２４ビット多値画像タイプ』であればそのままの部分画像を合成に用いる。つぎに、ステップＳ１００４において下地画像と部分画像に対し部分画像の各画素の論理演算を行い合成画像を作成する。
【０１２４】
本例では、下地画像の白画素（Ｒ＝２５５，Ｇ＝２５５、Ｂ＝２５５）と部分画像の黒画索（Ｒ＝０，Ｇ＝０，Ｂ＝０）の合成画像が黒画素（Ｒ＝０，Ｇ＝０，Ｂ＝０）となるように論理演算を用いている。
【０１２５】
以上のような処理によって１つの部分画像に対して再生合成処理（Ｓ２６０６）を終了したら、ステップＳ２６０７において残りの部分画像が存在しているか否かを調べ、存在していればステップＳ２６０２に戻り、残りの部分領域について上記の処理を繰り返す。残りの部分領域が存在していなければ、文書画像理解データ再生処理を終了する。
【０１２６】
そして、図４のステップＳ４０３において画像出力部（２１１４）であるモノクロプリンターから再生画像を出力文書として出力する。
【０１２７】
［第６の実施形態］
上記第５の実施形態では、テキスト領域を暗号化させるものであったが、オペレータが選択した特定属性のみを暗号化させることも可能である。この例を第６の実施形態として説明する。
【０１２８】
具体例を図１９を再度用い、更に図２２、図２３を用いて説明する。なお、図２３は図１８の変形例でもある。
【０１２９】
先ず、ステップＳ２３０１で画像入力部（２８０２）であるスキャナより文書画像を多値画像として入力する。
【０１３０】
次に、オペレータ指示部（２８１６）により、暗号化する領域属性を指示する。例えば、入力した画像を表示させ、その中の『表』属性の領域に対して暗号化するように指示する。
【０１３１】
次いで、ステップＳ３０２で、二値画像出力部（２８０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（２８０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０１３２】
次に、ステップＳ２３０５で文書画像理解保存部（２８０８）においてレイアウト解析データならびにオペレータの指示をもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０１３３】
さらに具体的な文書画像理解保存処理の例を図２３のフローチャート、及び図１４、図１５、図２７に従って説明する。
【０１３４】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ２９０１でオペレータが設定した属性をセットする。図３０は、この時の表示画面の例を示しており、ウインドウ右上の暗号化指定のコンボボックスを指定し、その中で適当な領域属性について暗号化を指定することになる。ここでは、ペレータは『テキスト』を指示したものとする。設定するのはポインティングデバイス等を領域内を指定することで行えばよい。
【０１３５】
次にステップＳ２９０２で、各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。そして、ステップＳ２９０３において領域属性が暗号化対象として指定されたものであれば、つまり、上記の例の場合には『テキスト』であれば、ステップＳ２９０４で切り取り先全体画像として二値画像を選択し、ステップＳ２９０５でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１３６】
さらに、ステップＳ２９０６で、その部分画像にたいして暗号化処理を行い、暗号化データを作成し、ステップＳ２９０７で、暗号化データを文書画像理解データとして保存する。
【０１３７】
この時暗号化フラグを有効（＝１）にすることでデータが暗号化されていることを示している。
【０１３８】
また、ステップＳ２９０３において、領域属性が非暗号化領域を示す場合には、ステップＳ２９０８で切り取り先全体画像として元画像を選択し、ステップＳ２９０９でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１３９】
次にステップＳ２９１０において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ２９１１において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ２９１３において文書画像理解データ（図２７）として保存処理を行う。
【０１４０】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１４１】
また、ステップＳ２９１０において調べた結果が、多値画像タイプであったならば、ステップＳ２９１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ２９１３において文書画像理解データ（図２７）として保存処理を行う。
【０１４２】
さらに詳細な本例の文書画像理解データの例は、図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０１４３】
次にステップＳ２９１４において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ２９０２に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０１４４】
［第７の実施形態］
上記第６の実施形態では、属性毎に暗号化するしないを設定するものであったが、オペレータが入力時の画像およびレイアウト解析結果を確認し、その解析結果から所望とする領域を選択して暗号化を指示することも可能である。
【０１４５】
具体例を図１９、図２４、図２５を用いて説明する。
【０１４６】
まず、ステップ２０３１で、画像入力部（３００２）であるスキャナより文書画像を多値画像として入力する。
【０１４７】
次に、ステップＳ２３０２で、二値画像出力部（３００４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（３００６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０１４８】
そのレイアウト情報はレイアウト解析データ表示部（３０１６）により入力画像と重ねて表示されることにより、オペレータは、オペレータ指示部（３０１７）において、ポインティングデバイス等で暗号化する領域を指示することが可能となる。図３１は、この時の操作画面であり、適当な領域を先ず、指定し、その後でその領域について暗号化の設定を“ＯＮ”にしていることを示している。暗号化対象となった領域（図示の場合にはテキスト領域）は、他の領域と区別して表示することで操作者にどの領域が暗号化されることになるのかを知らしめる。
【０１４９】
次に、ステップＳ２３０５で文書画像理解保存部（３００８）においてレイアウト解析データならびにオペレータの指示をもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０１５０】
さらに具体的な文書画像理解保存処理の例を図２５のフローチャート、及び図１４、図１５、図２７に従って説明する。
【０１５１】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ３１０１でオペレータが設定した領域のＩＤをセットする。次にステップＳ３１０２で、各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。
【０１５２】
そして、ステップＳ３１０３において領域属性が『テキスト』であれば、ステップＳ３１０４で切り取り先全体画像として二値画像を選択し、ステップＳ３１０６でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１５３】
また、ステップＳ３１０３において、領域属性が『テキスト』でないならば、ステップＳ３１０５で切り取り先全体画像として元画像を選択し、ステップＳ３１０６でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１５４】
そして、ステップＳ３１０７で領域ＩＤを検査し、暗号化対象領域か否かを調べる。
【０１５５】
暗号化対象領域であるならば、ステップＳ３１０８でその部分画像にたいして暗号化処理を行い、暗号化データを作成し、ステップＳ３１０９で、暗号化データを文書画像理解データとして保存する。
【０１５６】
この時暗号化フラグを有効（＝１）にすることでデータが暗号化されていることを示している。
【０１５７】
また、ステップＳ３１０７で暗号化対象領域でないならば、ステップＳ３１１０において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ３１１１において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ３１１３において文書画像理解データ（図２７）として保存処理を行う。
【０１５８】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１５９】
また、ステップＳ３１１０において調べた結果が、多値画像（写真画像等の非２値画像）タイプであったならば、ステップＳ３１１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ３１１３において文書画像理解データ（図２７）として保存処理を行う。
【０１６０】
文書画像理解データの例は、図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０１６１】
次にステップＳ３１１４において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ３１０２に戻り、残りの分割領域について上記の処理を繰り返す。
【０１６２】
残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０１６３】
［第８の実施形態］
領域属性が『テキスト』など文字認識可能な領域の場合において、文字認識処理を用いて、画像データではなく文字認識データを保存する湯合や、画像データと文字認識データの両方を保存する場合等においても、文字認識データならびに画像データを暗号化することによって、暗号化データを保存することが可能である。
【０１６４】
以下に具体例を第８の実施形態として説明する。ここでは、一例として、『テキスト』の場合は文字認識結果を暗号化した暗号化データ、他の領域は画像データを保存させる例を、図１８、図１９、図２６、図１４、図１５、図２７、図２８、図２９を用いて説明する。
【０１６５】
まず、ステップＳ２３０１において、画像入力部（２１０２）であるスキャナより文書画像を多値画像として入力する。
【０１６６】
ステップＳ２３０２で、二値画像出力部（２１０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（２１０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０１６７】
次に、ステップＳ２３０４で文書画像理解保存部（２１０８）においてレイアウト解析データをもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０１６８】
その際に、あらかじめ定められた特定領域のデータの暗号化処理も行う。
【０１６９】
さらに具体的な文書画像理解保存処理の例を図２６のフローチャート、及び図１４、図１５、図２７、図２８、図２９に従って説明する。
【０１７０】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ３２０１で各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。そして、ステップＳ３２０２において領域属性が『テキスト』であれば、ステップＳ３２０３で認識用先全体画像として二値画像を選択し、ステップＳ３２０４でレイアウト解析データの領域の座標データを用いて部分画像に対して文字認識処理を行う。
【０１７１】
次に、ステップＳ３２０５において文字認識した結果の文字認識データを暗号化処理し、暗号化データを作成して、ステップＳ３２０６で、暗号化データを文書画像理解データ（図２９）として保存する。ここで暗号化フラグが有効（＝１）にすることは、そのデータが暗号化されていることを示している。
【０１７２】
また、ステップＳ３２０２において、領域属性が『テキスト』でないならば、ステップＳ３２０７で切り取り先全体画像として元画像を選択し、ステップＳ３２０８でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１７３】
そして、ステップＳ３２０９において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ３２１０において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ３２１１において文書画像理解データ（図２７）として保存処理を行う。
【０１７４】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１７５】
また、ステップＳ３２１０において調べた結果が、多値画像タイプであったならば、ステップＳ３２１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ３２１１において文書画像理解データ（図２７）として保存処理を行う。
【０１７６】
さらに詳細な本例の文書画像理解データの例は、図２７に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０１７７】
次にステップＳ３２１３において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ３２０１に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０１７８】
なお、上記処理に更に、入力した多値画像を表示し、暗号化しようとする領域を指定していき、その中でテキスト領域についてはそのテキスト画像及び文字認識結果の両方を暗号化させるようにしてもよい。解読できるユーザ以外（解除できるキーを入力しなければ）は、その領域は「暗号化されているため表示できません」というメッセージを表示し、その領域をマウス等で指示したときに解除するキー入力を促すキー入力ダイアログボックスを表示し、設定された番号キーと一致した場合にそれを表示するようにする。なお、印刷する場合にも解除しなければその領域の印刷は行わない。
【０１７９】
以上説明したように第５乃至第８の実施形態によれば、
１）文書画像の保存時における、データ量の削減
２）文書画像の配信時における、ネットワークトラフィックへの負荷軽減
３）文書画像の保存、配信時における、再利用に適した高画質の維持
４）出力時の文書画像の画質劣化や情報欠落の防止
５）ＤＴＰ（デスクトップパプリッシング）等の電子文書への再利用の容易化
６）文書画像の保存、配信時におけるセキュリテイーの向上
等がはかれる効果がある。
【０１８０】
［第９の実施形態］
本第９の実施形態では、例えば文書画像中のあるテキストの言語を他の言語に翻訳する機能を付加する例について説明する。
【０１８１】
図３２は第９の実施形態における構成概念及びデータの流れを示している。
【０１８２】
同図において、４１０１は入力される対象となる印刷物やコンピュータ上で扱う画像データ等を含む入力文書、４１０２は文書を画像として入力する画像入力部、４１０３は画像入力部から入力された元画像データ、４１０４は入力文書画像から二値画像を作成する二値画像出力部、４１０５は作成された二値画像、４１０６は二値画像をもとにして文書を図やテキストや表等の各種属性毎の領域に分割した情報すなわちレイアウト解析データを出力するレイアウト解析部、４１０７はレイアウト解析データ、４１０８はレイアウト解析データをもとにして、入力文書元画像及び二値画像から適応的に保存条件を変更しながら画像データ、文字認識データ、および翻訳データを文書画像理解データとして保存する文書画像理解データ保存部である。
【０１８３】
４１０９は文書画像理解データを出力する文書画像理解デーグ出力部、４１１０は文書画像理解保存データ、４１１１は文書画像理解保存データを入力する文書画像理解データ入力部、４１１２は文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する文書画像理解再生部、４１１３は再生文書画像、４１１４は再生文書画像を出力する、画像出力部である。４１１５は出力文書、４１１６は任意の領域の文字を認識しコード情報等を文字認識データとして出力する文字認識処理部、４１１７は任意の種類の言語を他の任意の種類の言語に翻訳した情報を翻訳データとして出力する翻訳処理部（翻訳のための各種構文解析用の辞書等が含まれる）である。
【０１８４】
上記構成におけるシステムは図２と同様であるので、その説明は省略する。
【０１８５】
次に処理の流れについて図１９、図４、図３３、図１０のフローチャート、及び図３２、図２、図４０、図１５、図１６、図１７、図４１に従って説明する。
【０１８６】
本第９の実施形態では２４ビット多値画像をスキャナ（２０３や２０６）より入力し、『テキスト』属性の領域に対して自動的に翻訳処理して保存し、ネットワークで配信して、配信先でモノクロプリンター（２０８や２１１あるいは２０５）に出力する場合の画像理解処理システムについて示す。
【０１８７】
まず、ステップＳ２３０１において、画像入力部（４１０２）であるスキャナより文書画像を多値画像として入力する。
【０１８８】
ステップＳ２３０２で、二値画像出力部（４１０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（４１０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０１８９】
次に、ステップＳ２３０４で文書画像理解保存部（４１０８）においてレイアウト解析データをもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。その際に、あらかじめ定められた特定領域のデータの文字認識処理ならびに翻訳処理も行う。
【０１９０】
本実施形態では、『テキスト』領域の画像データを文字認識し翻訳（日本語→英語）する例を示す。
【０１９１】
具体的な文書画像理解保存処理の例を図３３のフローチャート、及び図４０、図１５、図１６に従って説明する。
【０１９２】
本例では、文書画像理解保存処理（Ｓ２３０４）に入ったら、まずステップＳ４５０１で各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。
【０１９３】
そして、ステップＳ４５０２において領域属性が『テキスト』であれば、ステップＳ４５０３で認識用先全体画像として二値画像を選択し、ステップＳ４５０４でレイアウト解析データの領域の座標データを用いて部分画像に対して文字認識処理を行う。
【０１９４】
ステップＳ４５０５で文字認識データを文書画像理解データ（図１６）として保存する。
【０１９５】
次に、ステップＳ４５０６において文字認識した結果の文字認識データを翻訳処理し、翻訳データを作成して、ステップＳ４５０７で翻訳データも文書画像理解データ（図４１）として保存する。
【０１９６】
また、ステップＳ４５０２において、領域属性が『テキスト』でないならば、ステップＳ４５０８で切り取り先全体画像として元画像を選択し、ステップＳ４５０９でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０１９７】
そして、ステップＳ４５１０において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ４５１１において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ４５１３において文書画像理解データ（図１６）として保存処理を行う。
【０１９８】
この時文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０１９９】
また、ステップＳ４５１０において調べた結果が、多値画像タイプであったならば、ステップＳ４５１２において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ４５１３において文書画像理解データ（図１６）として保存処理を行う。
【０２００】
本例の文書画像理解データの例も図１５に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０２０１】
次にステップＳ４５１４において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ４５０１に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０２０２】
本実施形態では文書画像理解保存部（４１０８）において作成・保存された文書画像理解データは文書画像理解データ出力部（４１０９）によりネットワーク上に出力され、ネットワークを介して利用先に配信される。
【０２０３】
利用先では、先の第１の実施形態で説明した図４と同様の処理を行うことになる。
【０２０４】
先ず、ステップＳ４０１において文書画像理解データ入力部（４１１１）により文書画像理解データを入力し、ステップＳ４０２において文書画像理解データから適応的に再生条件を変更しながら再生文書画像を作成する。
【０２０５】
具体的な文書画像理解再生処理（Ｓ４０２）の例を図３４、図１０を用いて説明する。
【０２０６】
本例では、あらかじめ定めた言語の翻訳データがある場合は自動的に翻訳データを取り出し、再生する例を示す。
【０２０７】
まず、ステップＳ４６０１において再生文書画像の下地となる画像を白い下地となるように作成する。
【０２０８】
次に、ステップＳ４６０２において文書画像理解データを分析し、ステップＳ４６０３で、部分領域の属性が『テキスト』であるならば、ステップＳ４６０４で、文書画像理解データに翻訳データが存在するか否かを検査する。
【０２０９】
翻訳データが存在するならば、ステップＳ４６０５において、文書画像理解データから翻訳データを取り出し、ステップＳ４６０６で翻訳文を構成している文字コードに対応するフォントパターンを、白い下地画像と合成し再生画像を作成する。
【０２１０】
また、翻訳データが存在しないならば、ステップＳ４６０７において、文書画像理解データから原文の文字認識データを取り出す。
【０２１１】
ステップＳ４６０８において、取り出した原文を白い下地画像と合成し再生画像を作成する。
【０２１２】
また、ステップＳ４６０３において、部分領域の属性が『テキスト』でないのであれば、ステップＳ４６０９で文書画像理解データから画像データを取り出し、ステップＳ４６１０において、取り出した部分画像とその座標データから白い下地画像と合成し再生画像を作成する。
【０２１３】
再生合成処理（ステップＳ４６１０）の一例としては、第１の実施形態で説明した図１０に従って処理すれば良い。つまり、ステップＳ１００１において文書画像理解データから部分画像の画像タイプを抽出し、ステップＳ１００２において、画像タイプが『二値画像タイプ』であれば、ステップＳ１００３において、二値画像の黒、白画素をそれぞれ２４ビット多値画像の黒、白画素に変換する疑似２４ビット化の処理を行う。
【０２１４】
本例では、二値画像の黒画素は１、白画素は０であるとしたとき、それを２４ビット多値画像の黒画素に対応させるため、黒画素はＲ＝０、Ｇ＝０、Ｂ＝０とし、白画素はＲ＝２５５、Ｇ＝２５５、Ｂ＝２５５（ＲはＲｅｄ成分、ＧはＧｒｅｅｎ成分、ＢはＢｌｕｅ成分で各８ビットの値を持つ。）としている。
【０２１５】
またステップＳ１００２において、画像タイプが『２４ビット多値画像タイプ』であればそのままの部分画像を合成に用いる。
【０２１６】
つぎに、ステップＳ１００４において下地画像と部分画像に対し部分画像の各画素の論理演算を行い合成画像を作成する。
【０２１７】
以上のような処理によって１つの部分画像に対して再生合成処理（図３４のステップＳ４６０６，Ｓ４６０８，Ｓ４６１０）を終了したら、ステップＳ４６１１において残りの部分画像が存在しているか否かを調べ、存在していればステップＳ４６０２に戻り、残りの部分領域について上記の処理を繰り返す。
【０２１８】
残りの部分領域が存在していなければ、文書画像理解データ再生処理を終了する。
【０２１９】
次に、図４におけるステップＳ４０３において画像出力部（４１１４）であるモノクロプリンターから再生画像を出力文書として出力する。
【０２２０】
［第１０の実施形態］
オペレータが入力時の画像およびレイアウト解析結果を確認し、その解析結果から特定領域を選択して翻訳を指示することも可能である。
【０２２１】
具体例を図１９（第５の実施形態で説明した）、図３５、図３６を用いて説明する。
【０２２２】
まず、ステップ２３０１で、画像入力部（４８０２）であるスキャナより文書画像を多値画像として入力する。
【０２２３】
次に、ステップＳ２３０２で、二値画像出力部（４８０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（４８０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０２２４】
そのレイアウト情報はレイアウト解析データ表示部（４８１６）により入力画像と重ねて表示されることにより、オペレータは、オペレータ指示部（４８１７）において、ポインティングデバイス等で翻訳処理する領域を指示することが可能とある。図３８は、この翻訳処理を行う領域の指定画面の一例を示している。図示では、第２カラムの上段部分をその翻訳対象として設定している（領域の指定をＯＮする）様を示している。
【０２２５】
次に、ステップＳ２３０５で文書画像理解保存部（４８０８）においてレイアウト解析データならびにオペレータの指示をもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０２２６】
具体的な文書画像理解保存処理の例を図３６のフローチャート、及び図４０、図１５、図１６に従って説明する。
【０２２７】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ４９０１でオペレータが設定した領域のＩＤをセットする。
【０２２８】
次にステップＳ４９０２で、各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。そして、ステップＳ４９０３において領域属性がテキストを含むかどうかを判断し、テキストを含む場合にはステップＳ４９０４で認識用画像として二値画像を選択し、ステップＳ４９０５でレイアウト解析データの領域の座標データを用いて部分領域に対して文字認識処理を行い文字認識データを得る。そして、ステップＳ４９０６で文字認識データを文書画像理解データとして保存する。なお、誤って写真画像等、テキストを含まない画像については最初から翻訳不可にしておくので問題は発生しない。
【０２２９】
次に、ステップＳ４９０７で部分領域の領域ＩＤを検査することにより翻訳対象領域か否かを調べる。
【０２３０】
翻訳対象領域でないならば、原文の文字認識データを保存しただけでこの領域に関する処理は終了となる。
【０２３１】
翻訳対象領域であるならば、ステップＳ４９０８において翻訳処理を行い、ステップＳ４９０９で翻訳データを文書画像理解データとして保存する。
【０２３２】
また、ステップＳ４９０３において、領域属性が翻訳対象とはならない、つまり、テキストを含んでいないならば、ステップＳ４９１０で切り取り先全体画像として元画像を選択し、ステップＳ４９１１でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０２３３】
ステップＳ４９１２において切り取った部分画像の画像タイプを調べ、二値画像タイプであれば、ステップＳ４９１３において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ４９１５において文書画像理解データ（図１６）として保存処理を行う。
【０２３４】
このとき、文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０２３５】
また、ステップＳ４９１０において調べた結果が、多値画像タイプであったならば、ステップＳ４９１４において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をステップＳ４９１５において文書画像理解データ（図１６）として保存処理を行う。
【０２３６】
本例の文書画像理解データの例は図１６に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０２３７】
次にステップＳ４９１６において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ４９０２に戻り、残りの分割領域について上記の処理を繰り返す。
【０２３８】
残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０２３９】
［第１１の実施形態］
複数言語の翻訳手段をもつことにより、１つの原文の文字認識データに対して複数の翻訳データを併せ持たせることも可能である。
【０２４０】
［第１２の実施形態］
複数の翻訳先から、オペレータが選択した言語に翻訳させることも可能である。
【０２４１】
具体例を再び図１９を用い、更に、図３５、図３７を用いて説明する。
【０２４２】
まず、ステップＳ２３０１、画像入力部（４８０２）であるスキャナより文書画像を多値画像として入力する。
【０２４３】
次に、オペレータ指示部（４８１７）により、翻訳先言語を指示する。
【０２４４】
例えばオペレータは原文が英語の文書に対して、翻訳先言語として『日本語』を指示したものとする。本例では翻訳先は１つであるが複数の言語を指定することも可能である。
【０２４５】
次いで、ステップＳ２３０２で、二値画像出力部（４８０４）により二値画像を作成し、それをもとにステップＳ２３０３において、レイアウト解析部（４８０６）により、文書画像を図やテキストや表等の各種属性毎の領域に分割しレイアウト情報（図１５）を出力する。
【０２４６】
次に、ステップＳ２３０５で文書画像理解保存部（４８０８）においてレイアウト解析データならびにオペレータの指示をもとにして、入力文書元画像である多値画像及び二値画像から適応的に保存条件を変更しながら文書画像理解データを作成し保存する。
【０２４７】
ここでのオペレータの指示としては、レイアウト解析された内容を図３９に示すように表示し、翻訳先言語を選択する処理である。本実施形態では翻訳対象はテキスト領域であるが、表等の文字を含むものをもその対象にしてもよい。
【０２４８】
具体的な文書画像理解保存処理の例を図３７のフローチャート、図４０、図１５、図１６、図１７、図４１に従って説明する。
【０２４９】
本例では、文書画像理解保存処理（ステップＳ２３０５）に入ったら、まずステップＳ５００１でオペレータが設定した翻訳先言語をセットし、翻訳処理の前準備を行う。
【０２５０】
次にステップＳ５００２で、各分割領域のレイアウト解析データを分析して各領域の領域属性を分類する。
【０２５１】
そして、ステップＳ５００３において領域属性が『テキスト』であるかどうかを判断する。もしそうなら、ステップＳ５００４に進み、その領域に対する認識用画像として二値画像を選択し、ステップＳ５００５でレイアウト解析データの領域の座標データを用いて部分領域に対して文字認識処理を行い、文字認識データを得る。さらに、ステップＳ５００６で、その文字認識データを文書画像理解データとして保存する。次いで、ステップ５００８に進み、翻訳処理を行い、ステップ５００９で翻訳結果も保存する（図４１）。
【０２５２】
一方、ステップＳ５００３において、領域属性が『テキスト』でないと判断した場合には、ステップＳ５０１０で切り取り先全体画像として元画像を選択し、Ｓ５０１１でレイアウト解析データの領域の座標データを用いて部分画像を切り取る。
【０２５３】
次にステップＳ５０１２において切り取った画像部分の画像タイプを調べ、二値画像タイプであれば、ステップＳ５０１３において二値画像用の圧縮処理を施し（例えばＭＭＲ等）、圧縮した部分画像をステップＳ５０１５において文書画像理解データ（図１６）として保存処理を行う。
【０２５４】
この時、文書画像理解データに圧縮方式も記録しておく事により、文書画像理解再生処理において圧縮画像を復号可能とする。
【０２５５】
また、ステップＳ５０１２において調べた結果が、多値画像タイプであったならば、ステップＳ５０１４において多値画像用の圧縮処理を施し（例えばＪＰＥＧ等）、圧縮した部分画像をＳ１０１５において文書画像理解データ（図１６）として保存処理を行う。
【０２５６】
さらに詳細な本例の文書画像理解データ（非テキスト画像）の例は、図１６に示すように、対象となったレイアウト領域データのレイアウト解析データ内での出現順位をレイアウト領域データのＩＤとし、切り取り幅、切り取り高さ、画像タイプ、圧縮方式、画像サイズおよび圧縮した切り取り画像を部分画像データとして保存する。
【０２５７】
次にステップＳ５０１６において残りの分割領域が存在しているか否かを調べ、存在していればステップＳ５００２に戻り、残りの分割領域について上記の処理を繰り返す。残りの分割領域が存在していなければ、文書画像理解データ保存処理を終了する。こうして、ステップＳ２３０５で文書画像理解データを出力する。
【０２５８】
以上説明したように本第９乃至第１２の実施形態によれば、
１）文書画像の保存時における、データ量の削減
２）文書画像の配信時における、ネットワークトラフィックへの負荷軽減
３）文書画像の保存、配信時における、再利用に適した高画質の維持
４）出力時の文書画像の画質劣化や情報欠落の防止
５）ＤＴＰ（デスクトップパプリッシング）等の電子文書への再利用の容易化
６）地球規模の文書配信時における利便性の向上
等がはかれる効果がある。
【０２５９】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０２６０】
また、図２ではネットワークを介して情報の授受を行う例を示したが、このネットワークとしてインターネットを採用しても良いのは勿論であるし、ネットワークの形態そのものによって本願発明が限定されるものではない。
【０２６１】
また、上記の各実施形態を大きく分けると、第１乃至第４の実施形態、第５乃至第８の実施形態、第９乃至第１２の実施形態に分けられるが、それらを如何様にむ見合わせても良いのは勿論である。
【０２６２】
また、本発明の目的は、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２６３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２６４】
以上説明したように第１の発明によれば、原稿のレイアウトを保持しながら、データ量を少なくでき、しかも、再生出力する際に画質劣化することを抑えることが可能になる。
【０２６５】
また、第２の発明によれば、上記第１の発明に加えてセキュリティーに優れたものとすることができる。
【０２６６】
そして、第３の発明によれば、上記第１の発明に加えて、画像中のテキストについて自然言語の違いを吸収できるようにもなる。従って、国内外を問わずに情報を共有することができるようになる。
【図面の簡単な説明】
【０２６７】
【図１】第１の実施形態におけるデータの流れを示す図である。
【図２】第１の実施形態のシステム構成を示す図である。
【図３】第１の実施形態における画像入力から文書画像理解保存データの出力処理までの手順を示すフローチャートである。
【図４】各実施形態における文書画像理解保存データ入力から再生画像出力までの処理手順を示すフローチャートである。
【図５】第１の実施形態の文書画像理解保存処理を示すフローチャートである。
【図６】第１の実施形態におけるテキスト判別処理を示すフローチャートである。
【図７】第１の実施形態の文書画像理解保存処理のフローチャートである。
【図８】第１の実施形態の文書画像理解保存処理のフローチャートである。
【図９】第１の実施形態の文書画像理解再生処理のフローチャートである。
【図１０】第１の実施形態の再生画像合成処理のフローチャートである。
【図１１】第２の実施形態における文書画像理解保存処理のフローチャートである。
【図１２】第３の実施形態における文書画像理解保存処理のフローチャートである。
【図１３】第３、第４の実施形態の文書画像理解再生処理のフローチャートである。
【図１４】第１の実施形態の文書画像理解データの構造を示す図である。
【図１５】第１の実施形態のレイアウト解析データの構造を示す図である。
【図１６】第１の実施形態の画像データの構造を示す図である。
【図１７】第１の実施形態の文字認識データの構造を示す図である。
【図１８】第５の実施形態におけるデータの流れを示す図である。
【図１９】第５の実施形態の画像入力から文書画像理解データ出力までのフローチャートである。
【図２０】第５の実施形態の文書画像理解保存処理のフローチャートである。
【図２１】第５の実施形態の文書画像理解再生処理のフローチャートである。
【図２２】第６の実施形態におけるデータの流れを示す図である。
【図２３】第６の実施形態の文書画像理解保存処理のフローチャートである。
【図２４】第７の実施形態におけるデータの流れを示す図である。
【図２５】第７の実施形態の文書画像理解保存処理のフローチャートである。
【図２６】第８の実施形態の文書画像理解保存処理のフローチャートである。
【図２７】第５の実施形態の画像データの構造を示す図である。
【図２８】第５の実施形態の文字認識データの構造を示す図である。
【図２９】第５の実施形態の暗号化文字認識データの構造を示す図である。
【図３０】第６の実施形態のＧＵＩの例を示す図である。
【図３１】第７の実施形態のＧＵＩの例を示す図である。
【図３２】第９の実施形態におけるデータの流れを示す図である。
【図３３】第９の実施形態の文書画像理解保存処理のフローチャートである。
【図３４】第９の実施形態の文書画像理解再生処理のフローチャートである。
【図３５】第１０の実施形態におけるデータの流れを示す図である。
【図３６】第１１の実施形態の文書画像理解保存処理のフローチャートである。
【図３７】第１１の実施形態の文書画像理解保存処理のフローチャートである。
【図３８】第１０の実施形態のＧＵＩの例を示す図である。
【図３９】第１１の実施形態のＧＵＩの例を示す図である。
【図４０】第９の実施形態の文書画像理解データの構造を示す図である。
【図４１】第９の実施形態の翻訳データの構造を示す図である。
【図１】
2008109692.tif 000003
【図２】
2008109692.tif 000004
【図３】
2008109692.tif 000005
【図４】
2008109692.tif 000006
【図５】
2008109692.tif 000007
【図６】
2008109692.tif 000008
【図７】
2008109692.tif 000009
【図８】
2008109692.tif 000010
【図９】
2008109692.tif 000011
【図１０】
2008109692.tif 000012
【図１１】
2008109692.tif 000013
【図１２】
2008109692.tif 000014
【図１３】
2008109692.tif 000015
【図１４】
2008109692.tif 000016
【図１５】
2008109692.tif 000017
【図１６】
2008109692.tif 000018
【図１７】
2008109692.tif 000019
【図１８】
2008109692.tif 000020
【図１９】
2008109692.tif 000021
【図２０】
2008109692.tif 000022
【図２１】
2008109692.tif 000023
【図２２】
2008109692.tif 000024
【図２３】
2008109692.tif 000025
【図２４】
2008109692.tif 000026
【図２５】
2008109692.tif 000027
【図２６】
2008109692.tif 000028
【図２７】
2008109692.tif 000029
【図２８】
2008109692.tif 000030
【図２９】
2008109692.tif 000031
【図３０】
2008109692.tif 000032
【図３１】
2008109692.tif 000033
【図３２】
2008109692.tif 000034
【図３３】
2008109692.tif 000035
【図３４】
2008109692.tif 000036
【図３５】
2008109692.tif 000037
【図３６】
2008109692.tif 000038
【図３７】
2008109692.tif 000039
【図３８】
2008109692.tif 000040
【図３９】
2008109692.tif 000041
【図４０】
2008109692.tif 000042
【図４１】
2008109692.tif 000043
【手続補正書】
【提出日】平成19年12月4日(2007.12.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
文書の多値画像データを入力する入力手段と、
前記入力した多値画像データから二値画像データを生成する二値画像生成手段と、
前記生成した二値画像データを属性毎の領域に分割し、当該分割した各領域のレイアウト情報を生成するレイアウト解析手段と、
前記レイアウト情報に基づいて、テキスト属性の領域について前記二値画像データから対応する領域の部分画像を切り取る第１部分画像切取手段と、
前記レイアウト情報に基づいて、非テキスト属性の領域について前記多値画像データから対応する領域の部分画像を切り取る第２部分画像切取手段と、
前記第１部分画像切取手段あるいは前記第２部分画像切取手段で切り取られる部分画像のうち、暗号化対象の領域に対応する部分画像を暗号化して暗号化データを生成する暗号化手段と、
前記暗号化対象の領域に対応する前記暗号化手段で生成された暗号化データと、前記暗号化対象でない領域に対応する前記第１部分画像切取手段あるいは前記第２部分画像切取手段で切り取られた部分画像と、前記レイアウト情報とを保存する保存手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記暗号化対象の領域はテキスト属性の領域であり、前記暗号化対象でない領域は非テキスト属性の領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
オペレータの指示に基づいて、暗号化対象とする属性を設定する暗号化対象属性設定手段を更に備え、
前記暗号化対象の領域は、前記暗号化対象属性設定手段で暗号化対象として設定された属性の領域であり、前記暗号化対象でない領域は、前記暗号化対象属性設定手段で暗号化対象として設定されなかった属性の領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記レイアウト情報に基づいて前記属性毎の領域を表示し、当該表示された領域のうちオペレータによって指示された領域を、前記暗号化対象の領域として設定する暗号化対象領域設定手段を更に備え、
前記暗号化対象の領域は、前記暗号化対象領域設定手段で前記オペレータによって指示された領域であり、前記暗号化対象でない領域は、前記暗号化対象領域設定手段で前記オペレータによって指示されなかった領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
文書の多値画像データを入力する入力手段と、
前記入力した多値画像データから二値画像データを生成する二値画像生成手段と、
前記生成した二値画像データを属性毎の領域に分割し、当該分割した各領域のレイアウト情報を生成するレイアウト解析手段と、
前記レイアウト情報に基づいて、テキスト属性の領域について前記二値画像データから対応する領域の部分画像を切り取る第１部分画像切取手段と、
前記第１部分画像切取手段で切り取られた前記テキスト属性の領域に対応する部分画像について文字認識する文字認識手段と、
前記レイアウト情報に基づいて、非テキスト属性の領域について前記多値画像データから対応する領域の部分画像を切り取る第２部分画像切取手段と、
暗号化対象の領域が前記テキスト属性の領域である場合、前記文字認識手段で認識した当該暗号化対象の領域の文字認識データを暗号化して暗号化データを生成する暗号化手段と、
前記暗号化手段で生成された暗号化データと、前記第２部分画像切取手段で切り取られた部分画像と、前記レイアウト情報とを保存する保存手段と、
を備えることを特徴とする画像処理装置。
【請求項６】
前記暗号化手段は、前記暗号化対象の領域が前記テキスト属性の領域である場合、前記文字認識手段で認識した当該暗号化対象の領域の文字認識データと前記第１部分画像切取手段で切り取られた部分画像との両方を暗号化することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記保存手段により保存された暗号化データと部分画像とレイアウト情報とを、他の装置に出力する出力手段を、更に備えることを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
【請求項８】
二値画像生成手段が、文書の多値画像データから二値画像データを生成する二値画像生成工程と、
レイアウト解析手段が、前記生成した二値画像データを属性毎の領域に分割し、当該分割した各領域のレイアウト情報を生成するレイアウト解析工程と、
第１部分画像切取手段が、前記レイアウト情報に基づいて、テキスト属性の領域について前記二値画像データから対応する領域の部分画像を切り取る第１部分画像切取工程と、
第２部分画像切取手段が、前記レイアウト情報に基づいて、非テキスト属性の領域について前記多値画像データから対応する領域の部分画像を切り取る第２部分画像切取工程と、
暗号化手段が、前記第１部分画像切取工程あるいは前記第２部分画像切取工程で切り取られる部分画像のうち、暗号化対象の領域に対応する部分画像を暗号化して暗号化データを生成する暗号化工程と、
保存手段が、前記暗号化対象の領域に対応する前記暗号化工程で生成された暗号化データと、前記暗号化対象でない領域に対応する前記第１部分画像切取工程あるいは前記第２部分画像切取工程で切り取られた部分画像と、前記レイアウト情報とを保存する保存工程と、
を備えることを特徴とする画像処理方法。
【請求項９】
二値画像生成手段が、文書の多値画像データから二値画像データを生成する二値画像生成工程と、
レイアウト解析手段が、前記生成した二値画像データを属性毎の領域に分割し、当該分割した各領域のレイアウト情報を生成するレイアウト解析工程と、
第１部分画像切取手段が、前記レイアウト情報に基づいて、テキスト属性の領域について前記二値画像データから対応する領域の部分画像を切り取る第１部分画像切取工程と、
文字認識手段が、前記第１部分画像切取工程で切り取られた前記テキスト属性の領域に対応する部分画像について文字認識する文字認識工程と、
第２部分画像切取手段が、前記レイアウト情報に基づいて、非テキスト属性の領域について前記多値画像データから対応する領域の部分画像を切り取る第２部分画像切取工程と、
暗号化手段が、暗号化対象の領域が前記テキスト属性の領域である場合、前記文字認識工程で認識した当該暗号化対象の領域の文字認識データを暗号化して暗号化データを生成する暗号化工程と、
保存手段が、前記暗号化工程で生成された暗号化データと、前記第２部分画像切取工程で切り取られた部分画像と、前記レイアウト情報とを保存する保存工程と、
を備えることを特徴とする画像処理方法。
【請求項１０】
コンピュータが読み出し実行可能なコンピュータプログラムを格納する記憶媒体であって、
コンピュータを、
文書の多値画像データから二値画像データを生成する二値画像生成手段、
前記生成した二値画像データを属性毎の領域に分割し、当該分割した各領域のレイアウト情報を生成するレイアウト解析手段、
前記レイアウト情報に基づいて、テキスト属性の領域について前記二値画像データから対応する領域の部分画像を切り取る第１部分画像切取手段、
前記レイアウト情報に基づいて、非テキスト属性の領域について前記多値画像データから対応する領域の部分画像を切り取る第２部分画像切取手段、
前記第１部分画像切取手段あるいは前記第２部分画像切取手段で切り取られる部分画像のうち、暗号化対象の領域に対応する部分画像を暗号化して暗号化データを生成する暗号化手段、
前記暗号化対象の領域に対応する前記暗号化手段で生成された暗号化データと、前記暗号化対象でない領域に対応する前記第１部分画像切取手段あるいは前記第２部分画像切取手段で切り取られた部分画像と、前記レイアウト情報とを保存する保存手段、
として機能させるためのコンピュータプログラムを格納する記憶媒体。
【請求項１１】
コンピュータが読み出し実行可能なコンピュータプログラムを格納する記憶媒体であって、
コンピュータを、
文書の多値画像データから二値画像データを生成する二値画像生成手段、
前記生成した二値画像データを属性毎の領域に分割し、当該分割した各領域のレイアウト情報を生成するレイアウト解析手段、
前記レイアウト情報に基づいて、テキスト属性の領域について前記二値画像データから対応する領域の部分画像を切り取る第１部分画像切取手段、
前記第１部分画像切取手段で切り取られた前記テキスト属性の領域に対応する部分画像について文字認識する文字認識手段、
前記レイアウト情報に基づいて、非テキスト属性の領域について前記多値画像データから対応する領域の部分画像を切り取る第２部分画像切取手段、
暗号化対象の領域が前記テキスト属性の領域である場合、前記文字認識手段で認識した当該暗号化対象の領域の文字認識データを暗号化して暗号化データを生成する暗号化手段、
前記暗号化手段で生成された暗号化データと、前記第２部分画像切取手段で切り取られた部分画像と、前記レイアウト情報とを保存する保存手段、
として機能させるためのコンピュータプログラムを格納する記憶媒体。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は画像処理装置及び方法及び記憶媒体、より詳しくは文書画像を読み取り処理する画像処理装置及び方法及び記憶媒体に関するものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記課題を解決するため、例えば第１、第２の発明の課題を解決する画像処理装置は以下の構成を備える。すなわち、
文書の多値画像データを入力する入力手段と、
前記入力した多値画像データから二値画像データを生成する二値画像生成手段と、
前記生成した二値画像データを属性毎の領域に分割し、当該分割した各領域のレイアウト情報を生成するレイアウト解析手段と、
前記レイアウト情報に基づいて、テキスト属性の領域について前記二値画像データから対応する領域の部分画像を切り取る第１部分画像切取手段と、
前記レイアウト情報に基づいて、非テキスト属性の領域について前記多値画像データから対応する領域の部分画像を切り取る第２部分画像切取手段と、
前記第１部分画像切取手段あるいは前記第２部分画像切取手段で切り取られる部分画像のうち、暗号化対象の領域に対応する部分画像を暗号化して暗号化データを生成する暗号化手段と、
前記暗号化対象の領域に対応する前記暗号化手段で生成された暗号化データと、前記暗号化対象でない領域に対応する前記第１部分画像切取手段あるいは前記第２部分画像切取手段で切り取られた部分画像と、前記レイアウト情報とを保存する保存手段とを備える。