(57)【要約】【課題】印刷処理が行われる記録媒体の特定の領域に記入された内容情報について、印刷処理後に領域指定をうけることなく抽出することができる処理装置及びプログラムを提供する。【解決手段】処理装置は、位置及び範囲を表す情報が付加された第１の画像データを取得する第１の取得部７０と、前記第１の画像データに対応する画像が印刷された記録媒体を読み取った第２の画像データを取得する第２の取得部７６と、前記位置及び範囲から特定される領域に対応する前記第２の画像データの領域から前記記録媒体に記入された内容情報を認識する認識部８０とを有する。【選択図】図４
2015095144.tif 000002
【特許請求の範囲】
【請求項１】
位置及び範囲を表す情報が付加された第１の画像データを取得する第１の取得手段と、
前記第１の画像データに対応する画像が印刷された記録媒体を読み取った第２の画像データを取得する第２の取得手段と、
前記位置及び範囲から特定される領域に対応する前記第２の画像データの領域から前記記録媒体に記入された内容情報を認識する認識手段と
を有する処理装置。
【請求項２】
前記第１の取得手段は、前記位置及び範囲を表す情報に加え、記入されるデータの型に関する情報が付加された第１の画像データを取得し、
前記認識手段は、前記データの型に関する情報を参照して、前記内容情報を認識する
請求項１に記載の処理装置。
【請求項３】
前記位置及び範囲を表す情報が印刷された記録媒体を読み取る読取手段を更に有し、
前記第２の取得手段は、前記記録媒体に印刷された当該位置及び範囲を表す情報を取得する
請求項１又は２記載の処理装置。
【請求項４】
前記位置及び範囲を表す情報が記憶された記憶先情報が印刷された記録媒体を読み取る読取手段を更に有し、
前記第２の取得手段は、前記記録媒体に印刷された前記記憶先情報を取得する
請求項１又は２記載の処理装置。
【請求項５】
前記認識手段は、前記領域のうち、前記第１の画像データにおいて内容情報が記入されていない領域に対して認識する
請求項１乃至４いずれか記載の処理装置。
【請求項６】
前記認識手段により認識された内容情報を前記第１の画像データに付加した第３の画像データへと更新する更新手段
をさらに有する
請求項１乃至５いずれか記載の処理装置。
【請求項７】
前記更新手段は、前記認識手段により前記内容情報を認識できない領域が存在するときは、当該領域に対応する前記第２の画像データを前記第１の画像データに付加する
請求項６記載の処理装置。
【請求項８】
複数の画像データ間の差分を抽出し、該差分に関する情報から位置及び範囲を抽出する抽出手段を更に有し、
前記認識手段は、前記抽出手段によって抽出された位置及び範囲に対応する領域に記入された内容情報を認識する
請求項１乃至７いずれか記載の処理装置。
【請求項９】
位置及び範囲を表す情報が付加された第１の画像データを取得ステップと、
前記第１の画像データが印刷された記録媒体を読み取った第２の画像データを取得するステップと、
前記位置及び範囲から特定される領域において前記記録媒体に記入された内容情報を  前記第２の画像データから認識するステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理装置及びプログラムに関する。
【背景技術】
【０００２】
特許文献１は、スキャナを用いて読み取った画像データから検索キー等の属性情報を伴う文字コードを容易確実に生成して登録作業に要する時間の短縮を図る装置として、蓄積された画像データについて、文字認識処理を行う前に、当該画像データの文字領域に属性情報を付与する装置について開示している。具体的には、領域枠形成部により形成された領域枠によって文字領域を指定し、この指定領域の位置情報と属性情報ファイルから任意に選択した属性情報とを対応付けるとともに、この対応情報を対応情報ファイルに格納しておき、上記領域枠にて特定される文字領域に対して文字認識部で文字認識処理を施し、その認識結果と該当する属性情報とを同時に出力し、属性情報を伴う文字コードを得る。
【０００３】
特許文献２は、画像文書をスキャナ入力し、文書管理システムへ画像とインデックスを保存する画像入力装置、フォーム認識、ＯＣＲ等、ユーザインタフェース等の構成により、原稿の正当性を評価した上で、文書管理システムへ画像文書とインデックスを入力する画像入力装置について開示している。
【０００４】
特許文献３は、次のようにして、登録する書類のメタデータを生成することができる電子文書登録システムについて開示している。特許文献３で開示されたシステムでは、書類を作成するときには電子フォームが利用され、電子フォームにデータが入力されることで、書類の電子データが作成され、データが入力された電子フォームを印刷することで、書類が作成される。また、印刷された書類には、電子フォームの一部のデータがエンコードされた２次元バーコードが付与され、書類の画像データを電子文書として登録するときは、書類の画像データに含まれる２次元バーコードの画像をデコードすることで得られるデータをメタデータとして利用する構成となっている。
【０００５】
特許文献４は、電子フォームと２次元バーコードを利用して履歴書のデータの一元管理を可能とする電子履歴書システムとして次のことを開示している。端末装置は履歴書フォームに従って電子履歴書作成を行い、履歴書印刷時、サーバは、端末装置からの履歴書データの２次元バーコード化を行い、印刷用の２次元バーコード付き電子履歴書データを送信し、端末装置は２次元バーコード付き履歴書を印刷する。人事情報システムは、応募者から送られた２次元バーコード付き履歴書をスキャナで読み取り、２次元バーコードを履歴書データに復元し、履歴書データ、写真イメージデータ、捺印イメージデータ等夫々に、共通の受付番号を付与し登録データベースに登録する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−０８３２８５号公報
【特許文献２】特開２００８−２９３３５３号公報
【特許文献３】特開２００８−０９７０６６号公報
【特許文献４】特開２００６−１６３６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、印刷処理が行われる記録媒体の特定の領域に記入された内容情報について、印刷処理後に領域指定をうけることなく抽出することができる処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００８】
請求項１に係る本発明は、位置及び範囲を表す情報が付加された第１の画像データを取得する第１の取得手段と、前記第１の画像データに対応する画像が印刷された記録媒体を読み取った第２の画像データを取得する第２の取得手段と、前記位置及び範囲から特定される領域に対応する前記第２の画像データの領域から前記記録媒体に記入された内容情報を認識する認識手段とを有する処理装置である。
【０００９】
請求項２に係る本発明は、前記第１の取得手段は、前記位置及び範囲を表す情報に加え、記入されるデータの型に関する情報が付加された第１の画像データを取得し、前記認識手段は、前記データの型に関する情報を参照して、前記内容情報を認識する請求項１に記載の処理装置である。
【００１０】
請求項３に係る本発明は、前記位置及び範囲を表す情報が印刷された記録媒体を読み取る読取手段を更に有し、前記第２の取得手段は、前記記録媒体に印刷された当該位置及び範囲を表す情報を取得する請求項１又は２記載の処理装置である。
【００１１】
請求項４に係る本発明は、前記位置及び範囲を表す情報が記憶された記憶先情報が印刷された記録媒体を読み取る読取手段を更に有し、前記第２の取得手段は、前記記録媒体に印刷された前記記憶先情報を取得する請求項１又は２記載の処理装置である。
【００１２】
請求項５に係る本発明は、前記認識手段は、前記領域のうち、前記第１の画像データにおいて内容情報が記入されていない領域に対して認識する請求項１乃至４いずれか記載の処理装置である。
【００１３】
請求項６に係る本発明は、前記認識手段により認識された内容情報を前記第１の画像データに付加した第３の画像データへと更新する更新手段をさらに有する請求項１乃至５いずれか記載の処理装置である。
【００１４】
請求項７に係る本発明は、前記更新手段は、前記認識手段により前記内容情報を認識できない領域が存在するときは、当該領域に対応する前記第２の画像データを前記第１の画像データに付加する請求項６記載の処理装置である。
【００１５】
請求項８に係る本発明は、複数の画像データ間の差分を抽出し、該差分に関する情報から位置及び範囲を抽出する抽出手段を更に有し、前記認識手段は、前記抽出手段によって抽出された位置及び範囲に対応する領域に記入された内容情報を認識する請求項１乃至７いずれか記載の処理装置である。
【００１６】
請求項９に係る本発明は、位置及び範囲を表す情報が付加された第１の画像データを取得ステップと、前記第１の画像データが印刷された記録媒体を読み取った第２の画像データを取得するステップと、前記位置及び範囲から特定される領域において前記記録媒体に記入された内容情報を前記第２の画像データから認識するステップとをコンピュータに実行させるプログラムである。
【発明の効果】
【００１７】
請求項１に係る本発明によれば、印刷処理が行われる記録媒体の特定の領域に記入された内容情報について、印刷処理後に領域指定をうけることなく抽出することができる。
【００１８】
請求項２に係る本発明によれば、データの型に関する情報を参照しないで内容情報を抽出する場合に比較して、内容情報の抽出精度を高くすることができる。
【００１９】
請求項３に係る本発明によれば、記録媒体から内容情報を抽出する位置及び範囲を表す情報を取得することができる。
【００２０】
請求項４に係る本発明によれば、内容情報を抽出する位置及び範囲を表す情報の記憶先を特定することができる。
【００２１】
請求項５に係る本発明によれば、全ての領域に対して抽出を行う場合に比較して、抽出する領域を少なくすることができる。
【００２２】
請求項６に係る本発明によれば、追記された内容を反映した画像データを生成することができる。
【００２３】
請求項７に係る本発明によれば、抽出できない場合であっても、内容情報を反映した画像データを生成することができる。
【００２４】
請求項８に係る本発明によれば、位置及び範囲を表す情報を備えていない記録媒体においても、特定の領域に記入された内容情報について、領域指定をうけることなく抽出することができる。
【００２５】
請求項９に係る本発明によれば、印刷処理が行われる記録媒体の特定の領域に記入された内容情報について、印刷処理後に領域指定をうけることなく抽出することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態に係る文書処理システム２を示す模式図である。
【図２】画像形成装置４を示す断面図である。
【図３】画像形成装置４のハードウェア構成を示すブロック図である。
【図４】プログラムが実行されることにより実現される画像形成装置４の機能構成を示すブロック図である。
【図５】文書処理装置としての画像形成装置４において、フォームフィールド付きの電子文書を印刷するまでの動作の一例を示すフローチャートである。
【図６】第１の取得部７０が取得するフォームフィールド付きの電子文書の一例を示す模式図である。
【図７】記憶先の場所を示す情報をともなって電子文書が印刷された記録媒体の一例を示す模式図である。
【図８】文書処理装置としての画像形成装置４において、フォームフィールド付きの電子文書を印刷後、印刷がなされた記録媒体からメタ情報を抽出する場合の動作の一例を示すフローチャートである。
【図９】図６で示した電子文書を記録媒体に印刷後に、この記録媒体に追記がなされた場合の記録媒体の読取画像について一例を示した模式図である。
【図１０】図６及び図９で示した電子文書及び読取画像から抽出されるメタ情報について示した模式図であり、（ａ）は、電子文書から抽出されたメタ情報を示し、（ｂ）は、読取画像から抽出されたメタ情報を示す。
【図１１】プログラムが実行されることにより実現される第二の実施形態に係る画像形成装置４の機能構成を示すブロック図である。
【図１２】第３の取得部１１０が取得する複数の読取画像について示す模式図である。
【図１３】図１２に示した複数の読取画像において共通する記載を示した模式図である。
【図１４】記入欄情報生成部１１６により生成されたフォームフィールド情報の一例について説明する模式図である。
【図１５】第二の実施形態において、フォームフィールド情報を生成する際の動作の一例について示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、本発明の第一の実施形態について図面を参照して詳細に説明する。
図１は、本発明の実施形態に係る文書処理システム２を示す模式図である。図１に示すように、文書処理システム２は、文書処理装置として機能する画像形成装置４と、端末装置６とから構成されており、画像形成装置４と、端末装置６とは、ＬＡＮ，ＷＡＮ，インターネット等により構成されるネットワーク８により接続されている。
【００２８】
端末装置６は、例えば、パーソナルコンピュータとして構成されており、アプリケーションソフトを実行することにより画像データの作成を行う。なお、端末装置６により作成される画像データには、電子文書（文書データ）も含まれる。また、端末装置６は、画像データを文書処理装置としての画像形成装置４へ送信する。
【００２９】
本実施形態において、端末装置６が生成する画像データには、少なくとも、記入欄の位置（例えば、記入欄の座標）及び範囲（例えば、記入欄の縦の長さ及び横の長さ）を表す情報が付加されている。そのような画像データの例として、端末装置６は、例えば、フォームフィールド付きの電子文書を作成する。フォームフィールドとは、文書内に設けられた記入欄の文書内における位置及び範囲と、この記入欄に記入されるデータの型とを表す情報のことである。なお、記入欄は、記入がなされる領域を有していればよく、必ずしも罫線などによる枠を備えていなくてもよい。データの型とは、記入欄に記入された内容情報を認識する際に、参照することによって内容情報の認識精度を向上させるために用いるために予めグルーピング（分類）したデータの種類のことであり、例えば、「文字」、「英文字」、「数字」などがある。記入欄に記入されるデータの型とは、予め定められたデータの種類のうちいずれのデータの種類が記入されるかを示している。予め定められたデータの種類としては、「文字」、「英文字」、「数字」などに限らず、「チェックボックス」、「ラジオボタン」、「数式」、「金額」、「日付」などであってもよいし、「画像」であってもよい。
【００３０】
例えば、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）形式、ＤｏｃｕＷｏｒｋｓ（登録商標）形式等の文書データにおいてはフォームフィールドを付加することが可能な文書データ形式であり、このような文書データ形式では、フォームフィールとして、テキストフィールド、チェックボックス、ラジオボタン、リストボックス、コンボボックスなどが用意されている。
【００３１】
なお、テキストフィールドは、文字を記入する記入欄であり、チェックボックスは、複数の選択肢のうち該当する選択肢を指定する記入欄であり、ラジオボタンは、複数の選択肢のうち該当する選択肢をいずれか１つ指定する記入欄であり、リストボックスは、予め定められた選択肢をリスト表示していずれかを選択するよう指定する記入欄であり、コンボボックスは、予め定められた選択肢をリスト表示していずれかを選択するよう指定するか又は文字を記入することが可能な記入欄である。
【００３２】
このように、端末装置６から画像形成装置４に対して、例えば、画像データとして、ＰＤＦ形式、ＤｏｃｕＷｏｒｋｓ形式等のフォームフィールド付きの文書データを送信する。画像形成装置４では、受信した画像データを印刷し、又は記憶する。このように、フォームフィールド付きの文書データを画像形成装置４で印刷する場合、例えばプリンタドライバにより印刷用のデータに変換するのではなく、フォームフィールド付きの文書データを画像形成装置４に直接送信して印刷を行う（ダイレクトプリントを行う）。
【００３３】
図２は、画像形成装置４を示す断面図である。画像形成装置４は、ＵＩ装置１０、印刷装置１２、読取装置１４及び通信装置１６を有している。
【００３４】
ＵＩ装置１０は、例えばタッチパネルなどとして構成され、情報を表示する表示装置としての機能、及び、操作者によってなされる入力を受付ける入力受付装置としての機能を備える。
【００３５】
印刷装置１２は、印刷を行う装置である。印刷装置１２は、例えば３段の記録媒体供給カセット１８を有し、これら記録媒体供給カセット１８のそれぞれには供給ヘッド２０が設けられている。
【００３６】
記録媒体供給カセット１８の一つが選択されると、供給ヘッド２０が作動して選択された記録媒体供給カセット１８から記録媒体供給路２２を介して画像形成機構部２４に供給される。
【００３７】
画像形成機構部２４は、イエロー、マゼンタ、シアン及びブラックの各感光体２６が併設されていると共に、中間転写ベルト２８が設けられている。
【００３８】
各感光体２６の周囲には、帯電装置、露光装置、現像装置、一次転写装置及びクリーニング装置など（図示せず）が配置され、各感光体２６に形成されたトナー像が中間転写ベルト２８に転写される。白黒設定された場合は、ブラックのみが作動可能であるようにされる。
【００３９】
中間転写ベルト２８のトナー像は、二次転写ロール３０により、送られてきた記録媒体に転写され、定着装置３２により定着され、このトナー像が定着された記録媒体が記録媒体排出路３４を通って排出部３６に排出される。
【００４０】
ただし、両面印刷が設定された場合は、定着装置３２により表面が定着された記録媒体は、記録媒体排出路３４から反転装置３８に送られ、この反転装置３８で反転され、記録媒体反転路４０に送られ、再び記録媒体供給路２２に戻され、画像形成機構部２４に送られて裏面の印刷がなされる。
【００４１】
読取装置１４は、両面原稿の読み取りが可能な自動原稿送り装置４２を有し、この自動原稿送り装置４２により原稿はプラテン４４に送られ、このプラテン４４上でＣＣＤ等からなる読取部４６により原稿の画像が読み取られる。
【００４２】
自動原稿送り装置４２に原稿がセットされたか否かを検出する原稿セット検出器４８が設けられている。また、自動原稿送り装置４２はプラテンカバーを兼ねており、このプラテンカバーを開けることにより原稿をプラテン４４上に置くことができる。このプラテンカバーの開閉は、プラテンカバー開閉検出器５０により検出できるようになっている。
【００４３】
通信装置１６は、ネットワーク８を介して端末装置６などの外部の装置と通信を行う装置であり、例えば、データ回線終端装置が該当する。画像形成装置４は、例えば、通信装置１６を用いることで、端末装置６から送信された文書データを取得する。
【００４４】
図３は、画像形成装置４のハードウェア構成を示すブロック図である。
【００４５】
図３に示すように、画像形成装置４は、上述の印刷装置１２、読取装置１４、ＵＩ装置１０、及び通信装置１６のほか、ＣＰＵ６０、メモリ６２及び記憶装置６４がバス接続された構成となっている。
【００４６】
このように、画像形成装置４は、端末装置６及び他の装置との通信が可能なコンピュータとしての構成部分を有している。
【００４７】
ＣＰＵ６０は、メモリ６２又は記憶装置６４に書き込まれたプログラムを実行することにより、画像形成装置４の動作を制御する。また、ＵＩ装置１０を介して受け付けられた入力は、ＣＰＵ６０に伝達され、ＣＰＵ６０からの表示情報がＵＩ装置１０に伝達される。
【００４８】
なお、ＣＰＵ６０は、図示しないＣＤ−ＲＯＭなどの可搬型の記憶媒体に記憶されたプログラムを実行してもよいし、又は通信装置１６を通じて提供されるプログラムを実行してもよい。
【００４９】
記憶装置６４は、例えばハードディスクなどに、データを書き込み及び読み出し可能に記憶する。
【００５０】
次に、画像形成装置４の文書処理装置としての機能構成について説明する。
図４は、プログラムが実行されることにより実現される画像形成装置４の機能構成を示すブロック図である。
【００５１】
本実施形態の画像形成装置４は、図４に示されるように、第１の取得部７０と、記憶制御部７２と、印刷制御部７４と、第２の取得部７６と、コード検出部７８と、認識部８０と、解析部８２と、内容情報抽出部８４と、文書更新部８６とを備えている。このような構成により、例えばフォームフィールド付きの電子文書を用紙などの記録媒体に印刷し、印刷されたこの記録媒体に対し手書きによる記入や印字による記入などの印刷後の追記がなされた場合に、この印刷後の追記がなされた記録媒体を読取り、印刷後の記載内容を認識する。また、さらに、印刷前に既に電子文書内にデータとして記載されている内容を表す内容情報（メタ情報）と、印刷後に追記がなされた内容を表す内容情報（メタ情報）とを抽出する。以下、「内容情報」について「メタ情報」と呼ぶ場合がある。
【００５２】
第１の取得部７０は、記入欄の位置及び範囲を表す情報が付加された画像データを取得する。本実施形態では、第１の取得部７０は、フォームフィールド付きの電子文書を取得する。本実施形態では、端末装置６は、画像形成装置４において印刷出力するフォームフィールド付きの電子文書を画像形成装置４に送信し、画像形成装置４の第１の取得部７０がこれを取得する。また、第１の取得部７０は、後述するように、記憶装置６４に記憶された画像データ（電子文書）を取得する。
【００５３】
記憶制御部７２は、第１の取得部７０が取得した画像データを記憶装置６４に記憶するよう制御する。本実施形態では、印刷出力するために端末装置６から取得したフォームフィールド付きの電子文書を記憶装置６４に記憶し、記憶先の場所を印刷制御部７４に通知する。なお、本実施形態では、画像形成装置４に設けられた記憶装置６４に記憶する構成について説明したが、画像形成装置４とは異なる装置に、例えばネットワーク８を介して記憶されてもよい。
【００５４】
印刷制御部７４は、第１の取得部７０が取得した印刷対象の画像データを印刷するよう制御する。この際、印刷制御部７４は、記憶制御部７２から通知された記憶先の場所を示す情報を電子文書とともに印刷する。本実施形態では、印刷制御部７４は、第１の取得部７０が取得した印刷対象のフォームフィールド付きの電子文書に、記憶先の場所を示す情報をコード化した２次元コードなどの光学コード画像を付加し、この光学コード画像が付加された電子文書を印刷するよう制御する。
【００５５】
以上の構成により、フォームフィールド付きの電子文書が記録媒体に印刷される。その後、印刷された記録媒体に対して、上述の通り追記がなされることとなる。以下、印刷された記録媒体に追記がなされた記録媒体から、追記内容を認識し、さらに、内容情報（メタ情報）を抽出する構成について説明する。
【００５６】
第２の取得部７６は、第１の取得部７０が取得した画像データが印刷された記録媒体を読み取った画像を取得する。本実施形態では、記憶制御部７２から通知された記憶先の場所を示す情報とともに電子文書が印刷された記録媒体を読み取った画像を取得する。また、本実施形態では、第２の取得部７６は読取装置１４により記録媒体を読み取って得られた画像を取得する。なお、第２の取得部７６が取得する画像には、追記がなされているものとして説明するが、必ずしも追記がなされていなくてもよい。
【００５７】
コード検出部７８は、第２の取得部７６が取得した画像から光学コード画像を検出する。また、第１の取得部７０は、当該読取画像の元となった画像データの記憶先の場所を示す情報をコード検出部７８が検出した光学コード画像から解読し、元となった画像データを記憶先から取得する。
【００５８】
認識部８０は、第２の取得部７６が取得した画像に対しＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）などの認識処理を行い、記入欄に追記された内容を認識する。ここで、認識部８０は、第２の取得部７６により取得された画像に対して、第１の取得部７０が取得した画像データに付加された情報に基づいて、印刷後に記入欄に記入された内容の認識処理を行う。本実施形態では、認識部８０は、第２の取得部７６により取得された画像に対して、第１の取得部７０が取得した電子文書に付加されたフォームフィールド情報から得られる記入欄の位置及び範囲と、この記入欄に記入されるデータの型とに基づいて、印刷後に記入欄に記入された内容の認識処理を行う。
【００５９】
具体的には、認識部８０は、第２の取得部７６が取得した画像内において、フォームフィールド情報に基づいて、記入欄の位置及びその領域を特定し、特定した部分について認識処理を行う。また、認識にあたっては、フォームフィールド情報に基づいて、認識対象のデータの型を限定する。例えば、認識対象の記入欄に記入されるデータの型が数字であることがフォームフィールド情報から分かる場合、認識部８０は、認識対象が数字であることを前提に、数字のパターン画像と比較することにより認識を行う。
【００６０】
認識部８０は、さらに以下の解析部８２による解析結果を用いて認識処理を行ってもよい。
解析部８２は、第１の取得部７０により取得された電子文書に設けられた記入欄へ電子文書上で記入された内容を解析する。なお、記入された内容の解析には、そもそも記入欄に電子文書上の記入がなされているか（記入済みの記入欄であるか）、または記入がないか（未記入の記入欄であるか）についての解析を含む。このように、解析部８２は、読取画像から記入欄の内容を解析するのではなく、電子文書から電子文書内に記載されている内容を解析する。例えば、フォームフィールドにより指定されているある記入欄において、文字列が電子的に記入されていた場合、解析部８２は、この文字列を電子文書から抽出する。
【００６１】
これにより、認識部８０は、第１の取得部７０により取得された文書に設けられた記入欄のうち、解析部８２により未記入の記入欄と解析された記入欄について、第２の取得部７６により取得された画像に対する認識処理を行う。このように、認識部８０は、文書内の全ての記入欄を認識対象とするのではなく、電子文書において未記入の記入欄、すなわち、印刷後に追記されると想定される記入欄に限定して、認識処理を行う。
【００６２】
内容情報抽出部８４は、第１の取得部７０により取得された画像及び第２の取得部７６により取得された画像に示される内容を表す情報である内容情報（メタ情報）を、第１の取得部７０により取得された画像及び第２の取得部７６により取得された画像から抽出する。具体的には、内容情報抽出部８４は、第１の取得部７０により取得された画像から、解析部８２により解析された、記入済みの記入欄に記入された内容を内容情報として抽出し、第２の取得部７６により取得された画像から、認識部８０により認識された内容を内容情報として抽出する。
【００６３】
内容情報抽出部８４により抽出された内容情報（メタ情報）は、記憶装置６４などに設けられたデータベースに登録され、例えばデータ処理の際に用いられる。なお、メタ情報を元の電子文書又は読取画像に付加してもよい。
【００６４】
文書更新部８６は、認識部８０により認識された内容を第１の取得部７０により取得された画像データに付加し、この画像データを更新する。これにより、追記された内容が含まれた画像データとして活用される。また、文書更新部８６は、認識部８０による認識に失敗した画像領域や記入欄におけるデータの型が「画像」として定められている記入欄の画像領域について、この画像領域の部分画像データを第１の取得部７０により取得された画像データに付加してもよい。
【００６５】
なお、認識部８０は、未記入の記入欄のみを認識対象とする場合、文書更新部８６により更新された画像データに基づいて未記入の記入欄と判定された記入欄を認識対象とするよう構成してもよい。例えば３つの記入欄Ａ，Ｂ，Ｃについて、１回目の追記で記入欄Ａに追記がなされ、２回目の追記で記入欄Ｂ，Ｃに追記がなされる場合において、各追記の後に画像の読取り及び追記内容の認識が行われる状況を仮定すると、１回目の認識では認識部８０は記入欄Ａ，Ｂ，Ｃを認識対象とし、２回目の認識では認識部８０は記入欄Ｂ，Ｃのみを認識対象とする。１回目の認識の際は、記入欄Ａ，Ｂ，Ｃが未記入であると解析部８２に解析され、認識部８０は記入欄Ａ，Ｂ，Ｃを認識対象とする。そして、１回目の認識後、文書更新部８６は、記入欄Ａが記入された画像データへと画像データを更新し、２回目の認識の際、認識部８０は、更新された画像データに基づいて未記入と解析された記入欄Ｂ及びＣについて認識対象とする。
【００６６】
次に、文書処理装置としての画像形成装置４の動作について説明する。
図５は、文書処理装置としての画像形成装置４において、フォームフィールド付きの電子文書を印刷するまでの動作の一例を示すフローチャートである。
【００６７】
ステップ１００（Ｓ１００）において、第１の取得部７０が端末装置６から送信された電子文書を取得する。
【００６８】
ステップ１０２（Ｓ１０２）において、取得した電子文書がフォームフィールド付きの電子文書であるか否かが判定され、フォームフィールド付きである場合、ステップ１０４へ移行し、フォームフィールド付きではない場合、ステップ１０８へ移行する。
【００６９】
ステップ１０４（Ｓ１０４）において、記憶制御部７２は、取得した電子文書を記憶装置６４に記憶するよう制御する。
【００７０】
ステップ１０６（Ｓ１０６）において、印刷制御部７４は、電子文書に記憶先の場所を示す光学コード画像を付加し、電子文書を印刷するよう制御する。
【００７１】
ステップ１０８（Ｓ１０８）において、電子文書の印刷が行われる。その後、ステップ１１０（Ｓ１１０）において、全てのページについて終了したか否かが判定され、未処のページがあれば、ステップ１０２へ戻り、全てのページについて終了している場合、処理を終了する。
【００７２】
図６は、第１の取得部７０が取得するフォームフィールド付きの電子文書の一例を示す模式図である。図６に示した例では、図中のハッチングされている各領域がフォームフィールド情報を伴う記入欄を示しており、図６において記入欄９０〜９８は、データの型として「文字」を記入する記入欄であり、記入欄１００は、印影などの画像が記載される記入欄である。なお、図６に示した例では、記入欄９０及び９２には、電子文書上で既に記入がなされており、記入欄９０には文字列「ＸＸＸ」、記入欄９２には文字列「ＹＹＹ」が記入されている。
【００７３】
図７は、記憶先の場所を示す情報をともなって電子文書が印刷された記録媒体の一例を示す模式図である。図７に示すように、本実施形態では、電子文書の記憶先の場所を示す情報として２次元コード１０２を電子文書に重畳して印刷している。
【００７４】
図８は、文書処理装置としての画像形成装置４において、フォームフィールド付きの電子文書を印刷後、印刷がなされた記録媒体からメタ情報を抽出する場合の動作の一例を示すフローチャートである。
【００７５】
ステップ２００（Ｓ２００）において、第２の取得部７６は、電子文書が印刷された記録媒体を読み取った画像を取得する。
【００７６】
ステップ２０２（Ｓ２０２）において、コード検出部７８は、ステップ２００で取得した画像内に含まれる光学コード画像を検出する。光学コードが検出された場合（ステップ２０４でＹｅｓ）、ステップ２０６へ移行し、検出されなかった場合（ステップ２０４でＮｏ）、ステップ２１８へ移行する。
【００７７】
ステップ２０６（Ｓ２０６）において、第１の取得部７０は、光学コードに示される記憶先の電子文書を記憶装置６４から取得する。
【００７８】
ステップ２０８（Ｓ２０８）において、解析部８２がステップ２０６で取得した電子文書に付加されているフォームフィールド情報を解析する。注目する記入欄について、電子文書上で記入済みの場合（ステップ２１０でＹｅｓ）の場合には、ステップ２１２へ移行し、電子文書上で未記入の場合（ステップ２１０でＮｏ）の場合には、ステップ２１４へ移行する。
【００７９】
ステップ２１２（Ｓ２１２）において、内容情報抽出部８４は、注目している記入欄に記載されている内容を電子文書から取得し、取得した内容をメタ情報とする。
【００８０】
これに対し、ステップ２１４（Ｓ２１４）では、注目している記入欄について、認識部８０が、フォームフィールド情報に基づいて認識処理を行い、記入欄に追記された内容を読取画像から取得する。ステップ２１６（Ｓ２１６）において、内容情報抽出部８４は、ステップ２１４において取得した内容をメタ情報とする。
【００８１】
一方、ステップ２０４において光学コードが検出されなかった場合には、ステップ２１８において、フォームフィールド情報を用いずに認識部８０が認識処理を行う。この場合、例えば、認識部８０は、画像全体に対して認識処理を行う。
【００８２】
ステップ２２０（Ｓ２２０）において、フォームフィールド情報により示される全ての記入欄について処理が終了したか否かを判定し、終了した場合にはステップ２２２へ移行し、終了していない場合にはステップ２０８へ戻る。
【００８３】
ステップ２２２（Ｓ２２２）において、メタ情報の抽出対象の全ての記録媒体について処理が終了したか否かを判定し、終了した場合には一連の処理を終了し、終了していない場合にはステップ２００へ戻る。
【００８４】
図９は、図６で示した電子文書を記録媒体に印刷後に、この記録媒体に追記がなされた場合の記録媒体の読取画像について一例を示した模式図である。ここでは、図６に示した記入欄のうち、記入欄９４〜１００に追記がなされている。
【００８５】
図１０は、図６及び図９で示した電子文書及び読取画像から抽出されるメタ情報について示した模式図であり、図１０（ａ）は、電子文書から抽出されたメタ情報を示し、図１０（ｂ）は、読取画像から抽出されたメタ情報を示す。なお、図１０に示した例では、図６及び図９に示される各記入欄について上から順にＡ１、Ａ２、Ａ３・・・と管理しているものとする。
【００８６】
図１０（ａ）に示すように、電子文書内で既に記入済みの内容については、電子文書からメタ情報が抽出される。また、図１０（ｂ）に示されるように、印刷後に追記された内容については、読取画像からメタ情報が抽出される。なお、記入欄１００に記載されて内容については、画像として抽出されている。
【００８７】
次に、本発明の第二の実施形態について説明する。第一の実施形態では、フォームフィールド情報が既に付加された電子文書に対する文書処理について説明したが、本実施形態では、記録媒体の読取画像からフォームフィールド情報を生成する点で、第一の実施形態と異なる。具体的には、以下に説明するように、同じ雛形の文書である複数の記録媒体の読取画像の差分から、文書内に設けられた記入欄を抽出し、また、各記入欄に記入されるデータの型を判別することにより、フォームフィールド情報を生成する。
【００８８】
図１１は、プログラムが実行されることにより実現される第二の実施形態に係る画像形成装置４の機能構成を示すブロック図である。
【００８９】
本実施形態の画像形成装置４は、図１１に示されるように、第３の取得部１１０と、差分抽出部１１２と、記入欄抽出部１１４と、記入欄情報生成部１１６と、副認識部１１８と、データ型判定部１２０とが追加されている点で、第一の実施形態に係る画像形成装置４とは異なる。
【００９０】
第３の取得部１１０は、複数の記録媒体を読み取って得られた複数の画像を取得する。第３の取得部１１０は、例えば、同じ雛形の文書が表された複数の記録媒体の読取画像を取得する。ここで、この雛型には記入欄が設けられており、第３の取得部１１０が取得する記録媒体には、記入欄に記載がなされているものを含む。なお、本実施形態では、第３の取得部１１０は、読取装置１４により記録媒体を読み取って得られた画像を取得する。
【００９１】
図１２は、第３の取得部１１０が取得する複数の読取画像について示す模式図である。図１２に示した例では、「請求書」についての予め定められた雛形の各文書用紙に対し、それぞれ宛名や金額などが雛形で定められた記入欄に沿って追記されている。
【００９２】
差分抽出部１１２は、第３の取得部１１０が取得した複数の画像における差分を抽出し、複数の画像間で共通する記載部分と共通しない記載部分を取得する。
【００９３】
図１３は、図１２に示した複数の読取画像において共通する記載を示した模式図である。図１３に示した通り、各読取画像の差分をとることにより、「請求書」についての予め定められた雛形情報が生成される。このように、複数の画像間で共通する記載部分を抽出することにより、文書のフォーマット情報（雛形情報）が生成される。
【００９４】
記入欄抽出部１１４は、差分抽出部１１２が抽出した複数の画像間の差分に基づいて、複数の画像間で共通しない記載部分について、記入欄として抽出する。これにより、各記録媒体において、それぞれ任意に追記されている部分が記入欄として抽出される。記入欄抽出部１１４は、具体的には、記入欄の位置及び範囲を抽出する。例えば、記入欄抽出部１１４は、差分において複数の画像間で共通しない記載部分の位置を記入欄の位置として抽出する。また、記入欄抽出部１１４は、複数の画像間で共通しない記載部分を取り囲む罫線であって、複数の画像間で共通して記載されている罫線について、この罫線で囲まれる範囲を記入欄の範囲として抽出する。
【００９５】
記入欄情報生成部１１６は、記入欄抽出部１１４により抽出された情報により、記入欄についての情報であるフォームフィールド情報（記入欄情報）を生成する。具体的には、記入欄の位置及び範囲についての情報を含むフォームフィールド情報が生成される。
【００９６】
記入欄情報生成部１１６が生成したフォームフィールド情報を、例えばフォームフィールド情報を備えていない「請求書」の電子文書に付加してもよい。ここで、フォームフィールド情報が付加される電子文書としては、上述のように、差分抽出部１１２の処理により複数の画像間で共通する記載部分を抽出することにより得られた文書の雛形情報であってもよい。また、第１の取得部７０が、記入欄抽出部１１４による抽出結果から生成されたフォームフィールド情報が付加された電子文書を取得し、上述の処理を行ってもよい。
【００９７】
なお、本実施形態では、記入欄情報生成部１１６は、後述するデータ型判定部１２０により判定された記入欄のデータの型を示す情報をさらに含んだフォームフィールド情報を生成する。
【００９８】
副認識部１１８は、記入欄抽出部１１４に抽出された記入欄に記載された内容の認識処理を行う。なお、副認識部１１８により認識された内容を、記入欄に記入される候補を記録した辞書データとしてデータベースに格納してもよい。また、認識部８０の認識において、この辞書データに基づいて認識を行うようにしてもよい。
【００９９】
データ型判定部１２０は、副認識部１１８により認識された内容に基づいて、記入欄へ記載されるデータの型を判定する。具体的には、例えば、注目する記入欄についての各読取画像の記載内容が「数字」だけである場合、データの型として「数字」であると判定する。
【０１００】
なお、注目する記入欄についての各読取画像の記載内容が「金額」だけである場合、データの型として「金額」であると判定してもよいし、注目する記入欄についての各読取画像の記載内容が「日付」だけである場合、データの型として「日付」であると判定してもよい。例えば、データ型判定部１２０は、「￥」や「＄」といった金額を示す印と共に数字が記載されている場合には、「金額」と判定する。また、例えば、「／」などにより数字が区切られて記載されている場合には、データ型判定部１２０は、「日付」と判定する。
【０１０１】
このように、本実施形態では、記入欄情報生成部１１６は、データ型判定部１２０により判定された記入欄のデータの型を示す情報をさらに含んだフォームフィールド情報を生成する。
【０１０２】
図１４は、記入欄情報生成部１１６により生成されたフォームフィールド情報の一例について説明する模式図である。図１４に示した例では、図中のハッチングされた領域がそれぞれ記入欄として抽出された様子を示しており、ハッチング領域内に記載された「標準」、「金額」、「日付」は、各記入欄のデータの型を示している。なお、「標準」とは、文字列からなるデータであることを示す型である。
【０１０３】
図１５は、第二の実施形態において、フォームフィールド情報を生成する際の動作の一例について示すフローチャートである。
【０１０４】
ステップ３００（Ｓ３００）において、第３の取得部１１０が、複数の記録媒体の読取り画像を取得する。
【０１０５】
ステップ３０２（Ｓ３０２）において、差分抽出部１１２が、ステップ３００で取得した各読取画像の差分抽出処理を行う。この際、複数の画像間で共通する記載部分については（ステップ３０４でＮｏ）、ステップ３０６（Ｓ３０６）において、文書のフォーマット情報（雛形情報）として抽出される。一方、複数の画像間で共通しない記載部分については（ステップ３０４でＹｅｓ）、ステップ３０８（Ｓ３０８）において、記入欄として抽出される。
【０１０６】
ステップ３１０（Ｓ３１０）において、副認識部１１８が、ステップ３０８で抽出された記入欄に記載された内容の認識処理を行う。
【０１０７】
ステップ３１２（Ｓ３１２）において、データ型判定部１２０は、ステップ３１０での認識結果に基づいて、記入欄へ記載されるデータの型を判定する。
【０１０８】
ステップ３１４（Ｓ３１４）において、記入欄情報生成部１１６は、ステップ３０８及びステップ３１２で得られた記入欄についての情報に基づいて、フォームフィールド情報を生成する。
【０１０９】
ステップ３１６（Ｓ３１６）において、ステップ３０６で生成された文書のフォーマット情報とステップ３１４で生成されたフォームフィールド情報とから、フォームフィールド付きの電子文書を作成する。
【０１１０】
以上、文書処理装置を画像形成装置により実現する実施形態について説明したが、文書処理装置としては、必ずしも画像形成装置により実現する必要はなく、文書処理装置が印刷装置及び読取装置などを設けていなくてもよい。
【０１１１】
また、第１の取得部７０は、端末装置６から送信された画像データを取得する構成について説明したが、画像形成装置４自体が保持する画像データを取得してもよいし、画像形成装置４自体が作成した画像データを取得してもよい。
【０１１２】
また、以上説明した実施形態では、記入欄の位置及び範囲とこの記入欄に記入されるデータの型とを表す情報が付加された画像データに基づく印刷がなされた記録媒体の読取画像について内容情報を抽出する例について説明したが、データの型に関する情報を用いずに内容情報を抽出するよう構成してもよい。
【０１１３】
すなわち、例えば、第１の取得部７０が記入欄の位置及び範囲を表す情報が付加された第１の画像データを取得し、第２の取得部７６が第１の画像データに対応する画像が印刷された記録媒体を読み取った第２の画像データを取得し、認識部８０が第１の画像データに付加された位置及び範囲の情報から特定される領域に対応する第２の画像データの領域に記入された内容情報を認識するよう構成してもよい。
【０１１４】
また、認識部８０が用いる第１の画像データに付加された位置及び範囲の情報は、記憶装置６４に記憶された第１の画像データ以外から取得してもよい。例えば、印刷制御部７４が、第１の取得部７０が取得した第１の画像の印刷の際に第１の画像に付加された記入欄の位置及び範囲を表す情報を第１の画像とともに記録媒体に印刷し、読取装置１４がこの記録媒体を読み取り、第２の取得部７６が第１の画像並びに記入欄の位置及び範囲を表す情報を含む第２の画像を取得し、認識部８０はこの記録媒体を読み取って得られた記入欄の位置及び範囲を表す情報に基づいて認識処理を行うよう構成してもよい。
【符号の説明】
【０１１５】
２        文書処理システム
４        画像形成装置
６        端末装置
１２      印刷装置
１４      読取装置
６４      記憶装置
７０      第１の取得部
７２      記憶制御部
７４      印刷制御部
７６      第２の取得部
７８      コード検出部
８０      認識部
８２      解析部
８４      内容情報抽出部
８６      文書更新部
１１０    第３の取得部
１１２    差分抽出部
１１４    記入欄抽出部
１１６    記入欄情報生成部
１１８    副認識部
１２０    データ型判定部
【図１】
2015095144.tif 000003
【図２】
2015095144.tif 000004
【図３】
2015095144.tif 000005
【図４】
2015095144.tif 000006
【図５】
2015095144.tif 000007
【図６】
2015095144.tif 000008
【図７】
2015095144.tif 000009
【図８】
2015095144.tif 000010
【図９】
2015095144.tif 000011
【図１０】
2015095144.tif 000012
【図１１】
2015095144.tif 000013
【図１２】
2015095144.tif 000014
【図１３】
2015095144.tif 000015
【図１４】
2015095144.tif 000016
【図１５】
2015095144.tif 000017