(57)【要約】【課題】フリーフォーマット文書に記載された必要な属性と文字列とを効率よく抽出して対応付け、また、抽出した内容を容易な手順で訂正することが可能な技術を提供する。【解決手段】実施形態の情報処理システムは、第１の表示部と、第１の入力部と、第２の入力部と、第２の表示部とを有する。第１の表示部は、文字認識が行われた文書の画像を表示する。第１の入力部は、画像内の、ユーザが指定した範囲を検出する。第２の表示部は、文書において文字認識が行われた結果である文字列を、文字列がいかなる属性の文字列であるかを示す属性情報ごとに一覧表示し、一覧内の、第２の入力部を用いてユーザにより指定された欄に、第１の入力部により検出された範囲における文字認識の結果である文字列を表示する。【選択図】図４
2013196479.tif 000002
【特許請求の範囲】
【請求項１】
文字認識が行われた文書の画像を表示する第１の表示部と、
前記画像内の、ユーザが指定した範囲を検出する第１の入力部と、
第２の入力部と、
前記文書において文字認識が行われた結果である文字列を、該文字列がいかなる属性の文字列であるかを示す属性情報ごとに一覧表示し、前記一覧内の、前記第２の入力部を用いてユーザにより指定された欄に、前記第１の入力部により検出された範囲における文字認識の結果である文字列を表示する第２の表示部と、
を含む情報処理システム。
【請求項２】
請求項１に記載の情報処理システムにおいて、
前記第１の表示部、前記第１の入力部は、タッチパネルディスプレイを有するコンピュータに含まれている情報処理システム。
【請求項３】
請求項１に記載の情報処理システムにおいて、
前記第２の表示部は、前記属性情報を色ごとに区別して表示し、前記第１の表示部は、前記画像内の文字列のうち、既に属性情報が定義付けられた文字列については、前記第２の表示部に表示される属性情報と同じ色となるように表示する情報処理システム。
【請求項４】
１つまたは複数のコンピュータに、
文字認識が行われた文書の画像を表示させ、
前記画像内の、ユーザが指定した範囲を検出させ、
前記文書において文字認識が行われた結果である文字列を、該文字列がいかなる属性の文字列であるかを示す属性情報ごとに一覧表示させ、前記一覧内の、ユーザにより指定された欄に、前記検出された範囲における文字認識の結果である文字列を表示させる
ための情報処理プログラム。
【請求項５】
１つまたは複数のコンピュータが、
文字認識が行われた文書の画像を表示し、
前記画像内の、ユーザが指定した範囲を検出し、
前記文書において文字認識が行われた結果である文字列を、該文字列がいかなる属性の文字列であるかを示す属性情報ごとに一覧表示させ、前記一覧内の、ユーザにより指定された欄に、前記検出された範囲における文字認識の結果である文字列を表示する
情報処理方法。
【請求項６】
文字認識が行われた画像が印刷されたシート上の位置情報を取得するデジタルペンと、
前記画像に記された文字列を、該文字列がいかなる属性の文字列であるかを示す属性情報ごとに一覧表示し、前記デジタルペンにより取得される、前記シートの画像内に記されたユーザ指定の文字列の位置情報と、前記シートに記されている、属性情報を指定するための記入枠でありユーザが指定した記入枠の位置情報とに基づき、前記一覧のうちの前記指定された属性情報と一致する属性情報の欄に、前記シートの画像内に記された前記指定された文字列を表示するコンピュータと、
を含む情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、光学式文字読取装置によって認識され、識別された文字を訂正する技術に関する。
【背景技術】
【０００２】
紙面上に記載された文字を識別し、電子データに変換する技術として、光学文字認識（ＯＣＲ：Optical Character Recognition）の技術や、このＯＣＲ技術を用いて文字認識を実現する光学式文字読取装置があり、実用化されている。
【０００３】
また、名刺上に記載されている文字を識別するとともに、名刺上の文字の大きさや位置、"Tel:"、"Fax:"、"E-mail:"等のキーワードをもとに、識別した文字列と企業、氏名、役職、連絡先等の属性情報とを同定させ、対応付けて保持する技術もある。
【０００４】
関連技術として、以下の文献が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１５１３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
名刺のように、ある程度フォーマットが慣例上決まっており、また記載内容が限られている場合には上記従来技術は有効であるが、多数のページのフリーフォーマット文書に記載された、多数の文字列を検出する場合、記載された文字列と属性情報との組合せを判断するのが困難となる。
【０００７】
また、抽出すべき文字列の近傍に上記のようなキーワードがある場合、その抽出も容易であるが、フリーフォーマット文書である場合は必ずしもキーワードが近傍にあるとは限らない。抽出漏れがある場合、ユーザが文書内の文字列を特定して抽出することとなるが、従来技術では、効率的に取り出すユーザインターフェースについては考慮されていない。
【０００８】
本発明が解決しようとする課題は、フリーフォーマット文書に記載された必要な属性と文字列とを効率よく抽出して対応付け、また、抽出した内容を容易な手順で訂正することが可能な技術を提供することである。
【課題を解決するための手段】
【０００９】
実施形態の情報処理システムは、第１の表示部と、第１の入力部と、第２の入力部と、第２の表示部とを有する。第１の表示部は、文字認識が行われた文書の画像を表示する。第１の入力部は、画像内の、ユーザが指定した範囲を検出する。第２の表示部は、文書において文字認識が行われた結果である文字列を、文字列がいかなる属性の文字列であるかを示す属性情報ごとに一覧表示し、一覧内の、第２の入力部を用いてユーザにより指定された欄に、第１の入力部により検出された範囲における文字認識の結果である文字列を表示する。
【００１０】
実施形態の情報処理システムは、デジタルペンと、コンピュータとを有する。デジタルペンは、文字認識が行われた画像が印刷されたシート上の位置情報を取得する。コンピュータは、画像に記された文字列を、文字列がいかなる属性の文字列であるかを示す属性情報ごとに一覧表示し、デジタルペンにより取得される、シートの画像内に記されたユーザ指定の文字列の位置情報と、シートに記されている、属性情報を指定するための記入枠でありユーザが指定した記入枠の位置情報とに基づき、一覧のうちの指定された属性情報と一致する属性情報の欄の余白欄に、シートの画像内に記された指定された文字列を表示する。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態の構成例を示す図である。
【図２】実施形態の文書読み取りシステムの動作例を示すフローチャートである。
【図３】実施形態の文書画像の一例、およびレイアウト解析後の領域の一例を示す図である。
【図４】第１の実施形態の訂正端末機の機能ブロックを示す図である。
【図５】第１の実施形態の訂正端末機が表示する画面例を示す図である。
【図６】図５に示す画面例に対する操作表示例を示す図である。
【図７】図６に示す操作が行われた後の、指定欄に文字列が表示される例を示す図である。
【図８】第１の実施形態の他の操作例、表示更新例を示す図である。
【図９】第１の実施形態の訂正端末機の動作例を示すフローチャートである。
【図１０】第２の実施形態の訂正システムの構成例を示す図である。
【図１１】第２の実施形態の訂正システムで表示される文書画像の表示例、および抽出結果／訂正用画面の一例を示す図である。
【図１２】第３の実施形態の構成例を示す図である。
【図１３】第３の実施形態の訂正システムの構成例を示すブロック図である。
【図１４】第３の実施形態の記入例、表示例を示す図である。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
図１は、本実施形態の文書読み取りシステムのハードウェア構成例を示す図である。以下の実施形態では、例えばＦＡＸや郵送などで人事異動の連絡を受けたときの態様について説明するが、態様はこれに限定されない。
【００１３】
第１の実施形態の文書読み取りシステム３００は、訂正用端末機１（情報処理システム）、サーバシステム２、ネットワーク３を有する。尚、訂正用端末機１が複数となる構成でもよく、サーバシステム２が複数となる構成でもよい。
【００１４】
訂正用端末機１は、文字認識された結果に対し、ユーザが文書と文字認識結果とを比較して、訂正が必要なものについては訂正するための操作用端末機である。訂正用端末機１は、演算処理装置であるプロセッサ１０１、主記憶装置であるメモリ１０２、フラッシュメモリやＨＤＤ（ハードディスクドライブ）等の補助記憶装置１０３を有するコンピュータである。また訂正用端末機１は、出力装置であるディスプレイ１０５や、入力装置であるキーボード１０６、マウス１０７を有し、外部とのデータ通信を制御する通信デバイス１０４を有する。これら各ユニットはデータバス１０８を介して互いにコマンド送受信、データ送受信を行っている。
【００１５】
サーバシステム２は、ＦＡＸサーバ２Ａ、ＯＣＲサーバ２Ｂ、ファイルサーバ２Ｃを含む。サーバ２Ａ〜２Ｃは、それぞれプロセッサやメモリ、補助記憶装置等のハードウェアを含んだ従前のコンピュータである。
【００１６】
ＦＡＸサーバ２Ａは、公衆回線を介して外部と通信可能な通信ボードを含み、外部からのＦＡＸデータを受信し、デジタルデータに変換する。変換後のデジタルデータは、例えば画像ファイルとして、自己の記憶装置やファイルサーバ２Ｃ等に記憶される。尚、ファイルの出力先は、記憶可能な装置、媒体であれば態様は限定されない。
【００１７】
ＯＣＲサーバ２Ｂは、画像ファイルに描画されている文字や図柄の領域を認識し（レイアウト解析）、また従前のＯＣＲ技術に基づき、画像ファイルに描かれている文字を領域ごとに識別してデジタルデータ（本例ではテキストデータ）に変換する。またＯＣＲサーバ２Ｂには、特定のキーワードが事前に記憶装置に記憶されており（以下、キーワード辞書と称す）、識別された文字列データにキーワードが含まれているかを、レイアウト解析により得られた領域ごとに判定する。ここで登録されているキーワードは、抽出対象となる文字列が、どのような意味（カテゴリ）であるかを示す属性情報であり、例えば、「氏名」、「住所」、「電話番号」である。文書読み取りシステム３００は、文書画像内に例えば「氏名」の文字列が明記されている場合、この「氏名」の文字列と近接している文字列を、「氏名」のカテゴリであるとして管理、保持する。
【００１８】
ＯＣＲサーバ２Ｂは、領域情報（例えば画像の左上の最端点を基準点とした座標情報）、領域内の文字列情報とを対応付けて抽出結果ファイルとして出力する。またキーワード辞書に登録されている文字列がヒットした場合、ＯＣＲサーバ２Ｂは、そのキーワードも領域情報、および文字列データに対応付けて抽出結果ファイルとして出力する。尚、本実施形態ではキーワードがヒットした／しないにかかわらず、領域情報、文字列情報の全てが対応付けられ、抽出結果ファイルが出力される。出力先は、自己の記憶装置内でもよいし、ファイルサーバ２Ｃでもよい。記憶可能な装置、媒体であれば態様は限定されない。
【００１９】
ファイルサーバ２Ｃは、訂正用端末機１を介して確認、訂正されたデータを永続的に記憶するサーバである。ファイルサーバ２Ｃは、ＦＡＸサーバ２Ａによって電子化されたＦＡＸデータを記憶してもよいし、ＯＣＲサーバ２Ｂから出力される抽出結果ファイルを記憶しもよい。
【００２０】
サーバシステム２内のＦＡＸサーバ２Ａ、ＯＣＲサーバ２Ｂ、ファイルサーバ２Ｃは、互いにデータの送受信が可能であるとする。また訂正用端末機１は、通信デバイス１０４、ネットワーク３を介してサーバシステム２とデータの送受信を行う。ネットワーク３は、本実施形態ではＬＡＮ（Local Area Network）とし、ＩＰアドレス（ＩＰ：Internet Protocol）が装置個別に割り当てられているとするが、態様はこれに限定されず、インターネット網を経由する形態であってもよい。また通信手段は有線、無線を問わない。
【００２１】
サーバ２Ａ〜２Ｃ内の各補助記憶装置には、ハードウェアを制御するソフトウェア、および本実施形態を実現するためのソフトウェアが事前に導入されている。サーバシステム２は、図１に示すように無停電電源装置（ＵＰＳ）を含む構成であってもよく、また入力用のキーボード、マウスや表示用のディスプレイ等を有する構成でもよい。また、ＦＡＸサーバ２Ａが実現可能な機能は、ＦＡＸ送受信機能やプリンタ機能、スキャナ、コピー機能等を備えたＭＦＰ（Multifunction Peripheral）であってもよい。またファイルサーバ２Ｃは、ネットワーク対応のＨＤＤであってもよい。これ以外にも、さまざまなシステム構成が考えられる。作業規模によっては、１つのコンピュータが、上記各装置の機能を全て担ってもよい。
【００２２】
また、処理対象となる画像ファイルは、ＦＡＸ受信されるもの以外にも、ＭＦＰ等により紙面上のデータがスキャンされた画像データや、所定形式に則った電子文書ファイルでもよい。
【００２３】
次に、文書読み取りシステム３００の動作例を図２のフローチャートに示す。図２の動作例は、ＦＡＸサーバ２Ａ等により、処理対象の画像ファイルが得られた後の動作例となっている。
【００２４】
ＯＣＲサーバ２Ｂは、処理対象の文書が描かれた画像ファイル（以下、文書画像）を取得し、文書画像に対してレイアウト解析を行う（Ｓ１０１）。このレイアウト解析は、画像上のいずれの領域に文字や図柄が描かれているかを判定し、当該領域の座標を取得するための処理となる。図３を用いて、レイアウト解析について説明する。図３（Ａ）は、もととなる文書画像の一例であり、図３（Ｂ）は、文書画像をレイアウト解析した後の領域例を示している。図３（Ｂ）に示された複数の太線矩形は、文字や図柄が描かれた領域として判定された箇所である。レイアウト解析により、一定間隔内にある文字（文字列）や図柄は、１つの領域としてまとめられ、それぞれの座標情報が得られる。レイアウト解析は、公知技術が用いられてもよい。
【００２５】
ＯＣＲサーバ２Ｂは、レイアウト解析により得られた領域内に描かれている文字を識別し、デジタルデータに変換する（Ｓ１０２）。ＯＣＲサーバ２Ｂは、識別した文字列データと、キーワード辞書内のキーワードとを対比することで、当該文字がキーワードであるかを判定する（Ｓ１０３）。尚、本実施形態では、キーワードに特殊文字（ワイルドワード）を含ませることも可能であり、マッチングさせることが可能である。また本例では、キーワードとして、「氏名」、「前職」、「新職」の文字列が含まれているものとする。
【００２６】
ＯＣＲサーバ２Ｂは、キーワードにマッチした文字列を属性情報として取得し（Ｓ１０４）、当該属性情報が有った領域内に含まれる、他の文字列を抽出する（Ｓ１０５）。またＯＣＲサーバ２Ｂは、属性情報が有った領域内に近接する、他の領域内に含まれる文字列も抽出する。近接間隔はパラメータで指定可能である。ＯＣＲサーバ２Ｂは、領域情報と、領域内の文字列と、属性情報が当該領域内にあればその属性情報（または、当該領域の近傍に属性情報があれば、その属性情報）とを対応付けて、抽出結果ファイルとして出力する。また文書画像のファイル名も対応付けて出力される。
【００２７】
訂正用端末機１は抽出結果ファイルを取得し、ユーザの操作に基づき、確認、訂正作業を支援する（Ｓ１０６）。ここでのユーザ操作や訂正用端末機１の動作については後述する。訂正作業が終わると、訂正用端末機１は、確認／訂正後のデータをＣＳＶファイルとしてファイルサーバ２Ｃに出力する（Ｓ１０７）。本実施形態のＣＳＶファイルは、本実施形態では属性情報と、その属性情報に対応付けられた、文書画像内の文字列データ（抽出された文字列データ）が１つのレコードに含まれるテキストファイルとする。尚、ファイル形式はＣＳＶファイルに限らず、またファイルではなくデータベースに格納する実装でもよい。
【００２８】
次に、本実施形態の訂正用端末機１の詳細について説明する。図４は、訂正用端末機１の構成をブロック図で例示したものである。
【００２９】
訂正用端末機１は、入力部１１、指定欄取得部１２、訂正画面表示部１３、領域取得部１４、文字情報取得部１５、文書画像表示部１６を有する。訂正用端末機１内の補助記憶装置１０３には、ハードウェアを制御するソフトウェア、および図４に示す各ブロックの機能を実現するためのソフトウェアが事前に導入されている。図４に示す各ブロックは、プロセッサ１０１がこのソフトウェアを演算実行することで実現され、またディスプレイ１０５、キーボード１０６、マウス１０７等、図１で示す各ハードウェアと協働して実現される。
【００３０】
図５〜図７を参照しつつ、図４の各ブロックの動作を説明する。訂正用端末機１は、ＯＣＲサーバ２Ｂが出力した抽出結果ファイル、および文書画像を取得し、図５に示すレイアウトでディスプレイ１０５に表示する。文書画像表示部１６は、図５の左側に示すように、文書画像を表示するとともに、抽出結果ファイル内の対応関係に従い、属性情報と対応付けられた文字列を、属性情報ごとに色分けして強調して描画する。本例では、キーワード辞書に登録されている情報が「氏名」、「前職」、「新職」であるため、文書画像表示部１６は、これら属性情報に対応した文字列を色分けして表示する。また文書画像表示部１６は、文書画像が複数枚に跨っている等、一度に表示できない場合は、スクロールバーを表示して、マウス操作で次ページ等を表示するように制御する。
【００３１】
訂正画面表示部１３は、図５の右側に示すように、抽出結果ファイルを参照して、各属性情報を最上欄に表示するとともに、各属性情報に対応した文字列を、その下の欄に編集可能なように一覧表示する。また、ユーザの視認性を良くするため、訂正画面表示部１３は、文書画像表示部１６の上記属性情報ごとの色分けと一致するように、最上欄を色分けして表示する。
【００３２】
ユーザは、文書画像表示部１６に表示される文書画像および属性情報ごとに色分けされた文字列と、訂正画面表示部１３により表示される抽出結果／訂正用画面上の表示文字列とを比較する。ＯＣＲサーバ２Ｂによる文字誤認識がある場合は、ユーザは、当該認識誤り箇所をマウス１０７、キーボード１０６を使用して訂正する。訂正には抽出結果／訂正用画面が用いられる。
【００３３】
ＯＣＲサーバ２Ｂの処理には、文字の識別以外にも上述したレイアウト解析処理、文字列に属性情報を対応付ける処理がある。属性情報が対応付けられた文字列については、訂正画面表示部１３の表示一覧（図５の右側）に、その文字列が表示される。しかしながら、図５左側の文書画像上の「東芝次郎」、「経理課長」、「取締役」、「東芝三郎」、「取締役」、「顧問」の文字列は、文書の書式がフリーフォーマットであるがゆえに、「氏名」、「前職」、「新職」の属性情報が近傍に明記されていないため、これらはいずれの属性にも該当しないと認識され、抽出漏れとなっている。
【００３４】
このような場合の属性情報と文字列との対応付けの訂正方法について、図６、図７を用いて説明する。ここでは、文字列を「氏名」の属性情報に対応づけて一覧に表示させる方法を例示する。
【００３５】
まずユーザは、図６に示すように訂正画面表示部１３により表示される欄のうち、挿入箇所を指定する。本例では、「氏名」欄の余白箇所である図６の指定欄Ｃが入力部１１（マウス１０７とするが、キーボード１０６の矢印キー等でも構わない）により指定される。指定欄取得部１２は、入力部１１によりいずれの欄が指定されたかの位置情報（行番号、列番号で示されるカラム位置情報）や属性情報を取得する。次にユーザは、入力部１１を用いて、文書画像表示部１６により表示される文書画像（図６左側）の、対応付けを行う文字列を囲むようにドラッグ操作で指定する。領域取得部１４は、入力部１１によって囲まれた領域の座標情報を取得する。
【００３６】
文字情報取得部１５は、領域取得部１４により得られた指定された領域が、抽出結果ファイル内の領域情報のいずれに合致しているかを判定する。もしくは、抽出結果ファイル内の領域情報のうちで、指定された領域に最も近似している領域情報を抽出する。文字情報取得部１５は、合致もしくは近似している領域情報に対応した文字列を、抽出結果ファイルから取得する。上述のように、抽出結果ファイルには文書画像の全ての領域情報、文字列が対応付いて存在しているため、文字情報取得部１５は、抽出結果ファイルから指定領域に対応した文字列を取得することができる。
【００３７】
訂正画面表示部１３は、指定欄取得部１２により取得されたユーザ指定欄に、文字列情報取得部１５により取得された文字列データを挿入して表示する。また文書画像表示部１６は、指定欄取得部１２から、ユーザに指定された欄の属性情報を取得し、指定された領域内の文字列を、その属性情報に応じて色分けして強調表示する。このときの表示を図７に示す。「前職」欄や「新職」欄にも、このような操作や訂正用端末機１の動作を適用させることで、属性情報との対応付けの漏れを解消することができる。
【００３８】
また、図８に示す指定も可能となる。すなわち、１つの欄が指定され、複数行に跨る領域が指定された場合、当該１つの欄内に複数行の文字列が挿入される。この場合、行間の改行コードは取り除かれて挿入される。
【００３９】
尚、本例では、欄の数と文字列の数が一致するように、２つの欄を選択し、２つの文字列を文書画像から指定する例を示しているが、不図示のチェックボックスやボタンが選択されている場合、文書画像上で選択される文字列の改行コードに従って、文字列が各欄に挿入される実装でもよい。例えば「氏名」欄の余白１箇所が選択され、文書画像上の複数行の文字列、本例では「東芝次郎（＋改行コード）」、「東芝三郎（＋改行コード）」の２行が選択される場合、訂正画面表示部１３は、まずは「東芝次郎」を１つ目の欄に表示し、「東芝次郎」の改行コードを確認した場合は次の下の欄にカーソルを進めて「東芝三郎」を表示する。すなわち、図７と同様の表示となる。
【００４０】
図９は、上述の属性情報と文字列との対応関係不備（抽出漏れ）を訂正するときの、訂正用端末機１の動作例を示すフローチャートである。指定欄取得部１２は、入力部１１から、属性情報一覧のうちのいずれの欄がユーザに選択されたかの位置情報を取得する（Ｓ２０１）。この位置情報は、例えば行番号、列番号となる。領域取得部１４は、ユーザが入力部１１を用いて指定される、文書画像内の領域の情報を取得する（Ｓ２０２）。領域の情報は、本例では座標情報である。文字情報取得部１５は、領域取得部１４により取得される領域に含まれる文字列を、抽出結果ファイル内で設定された領域情報と文字列との対応関係に基づき取得する（Ｓ２０３）。訂正画面表示部１３は、指定欄取得部１２で取得される欄に、文字列情報取得部１５により取得される文字列を挿入する（Ｓ２０４）。このように対応不備が解消された属性情報と文字列は、正規な情報として確認／訂正ＣＳＶファイルに出力される。
【００４１】
上記例では、文書画像内の主な連絡事項が人事異動についてであり、１枚のシートに人事異動の情報が記載されている例を示した。ここでフリーフォーマット文書である場合、別の主だった連絡事項が複数のシートに渡ってあり、その中の一部に人事異動に関する情報がある場合、また人事異動に関する情報が文書の文頭ではなく、文書の中節や末尾にある場合、さらには複数箇所に分かれて記載されている場合がある。また状況によっては、人事異動に関する情報が複数ページに渡って膨大にある場合もある。本実施形態を適用することで、このような状況での操作性向上を図ることができ、もってユーザへの利便性を図ることができる。すなわち本実施形態により、ユーザはページめくりを文書画像表示部１６の表示領域で行い、属性情報ごとに色分けされている箇所についての確認を行う。またユーザは、手入力（キーボードを用いた文字列の直接入力）をすること無く、簡単な操作のみで属性情報と文書内文字列との対応を是正することができ、抽出すべき文字列の抽出漏れを低減させることができる。よって、より正確な情報を取得できる。
【００４２】
（第２の実施形態）
第２の実施形態では、上記第１の実施形態よりもさらに操作性を向上させた構成について説明する。第２実施形態は、通常のＰＣ（ＰＣ：パーソナルコンピュータ）に加え、タッチパネルディスプレイを有するタブレットＰＣも用い、タブレットＰＣと通常のＰＣとを連動させることで、訂正作業が行われる。
【００４３】
図１０に、第２の実施形態の訂正システムの構成例を示す。訂正システム１００（情報処理システム）は、タブレットＰＣ１Ｂ、端末機１Ａ（据え置きＰＣやノートＰＣ）を有する構成となっている。訂正システム１００は、第１の実施形態で説明したサーバシステム２と、ネットワーク３を介してデータの送受信が可能となっており、またタブレットＰＣ１Ｂと端末機１Ａとの間でも、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）の通信手段を用いてデータ送受信が可能となっている。
【００４４】
タブレットＰＣ１Ｂのハードウェア構成は、プロセッサ、メモリ、不揮発性に記憶することができる記憶装置を含んだ従前のタブレットＰＣである。また、タブレットＰＣは、指先（ペン先でもよい）の押下を検知するタッチパネル方式の入力装置と、表示装置とを合わせたタッチパネルディスプレイを有する。入力部１１Ａおよび文書画像表示部１６Ａは、このタッチパネルディスプレイと協働することで実現される機能部となっている。端末機１Ａは、第１の実施形態の訂正用端末機１と同様のハードウェア構成であり、また図１０に示されるその他の各機能部は、第１の実施形態と同様の機能となっている。
【００４５】
図１１に、タブレットＰＣ１Ｂのタッチパネルディスプレイに表示される画面イメージ（左側）、および端末機１Ａのディスプレイ１０５に表示される画面イメージ（右側）を示す。タブレットＰＣ１Ｂの文書画像表示部１６Ａにより、文書画像および属性ごとに色分けされた文字列がタッチパネルディスプレイ上に表示される。また端末機１Ａの訂正画面表示部１３により、抽出結果／訂正用画面がディスプレイ１０５上に表示される。
【００４６】
タブレットＰＣ１Ｂは原稿（文書画像）の視認性が高く、指先をスライドさせる操作でページ送りができ、範囲指定なども指先でのドラッグ操作で簡単に行える反面、文字入力には向いていない。一方で、端末機１Ａは、ページ送りはマウス操作で行われる等、文書画像に対しての操作性や視認性はタブレットＰＣ１Ｂよりも低いが、文字入力の操作はキーボード１０６を用いた入力となるため、容易である。このように、タッチパネルディスプレイとキーボードと用い、それぞれの操作性の欠点を補完し合うことで、操作性が向上し、訂正作業が円滑に実施される。
【００４７】
ユーザの操作手順は、入出力デバイスは異なること以外は、第１の実施形態の図６、図７で示したものと同様とある。属性情報の対応付けに不備があり、抽出漏れがある場合、ユーザは、まずは抽出結果／訂正用画面内の欄を指定し、その後、文書画像内の該当文字列を指先で囲むように指定する。これにより、抽出結果／訂正用画面内の指定欄に、該当文字列が表示される。
【００４８】
修正作業の基となる文書画像は、本実施形態ではタブレットＰＣ１Ｂ側で保持するものとし、抽出結果ファイルは、タブレットＰＣ１Ｂ、端末機１Ａの両方でそれぞれ保持するものとするが、態様はこれに限定されず、適材適所に配置される。また、タブレットＰＣ１Ｂ内の文字情報取得部１５が、抽出結果ファイルから文字列を取得した際には、端末機１Ａ内の訂正画面表示部１３に取得された文字列が送信される。また端末機１Ａ内の指定欄取得部１２により取得される指定欄の属性情報については、タブレットＰＣ１Ｂ内の文書画像表示部１６Ａに送信される。指定欄取得部１２からの送信により、文書画像表示部１６Ａは、ユーザに指先で指定された領域内の文字列を、属性に応じた色で強調表示する。これ以外の各機能部の動作は、第１の実施形態と同様である（図９のフローチャート等を参照）。
【００４９】
また、本実施形態では、文字情報取得部１５をタブレットＰＣ１Ｂ内としたが、端末機１Ａ内であってもよい。タッチパネルディスプレイに対する指先操作は、従前の操作方法と同様とすることができる。またタッチパネルディスプレイ上での表示制御（拡大表示や縮小表示、ページめくり時の表示制御、等）や、ユーザが指定した文書画像上の領域取得は、タッチパネルで検知される座標情報に基づき行われる。この制御には従前の技術が採用されてもよい。
【００５０】
領域指定画面をタブレットＰＣ１Ｂで表示し、文字入力用の画面を端末機１Ａで表示し、これらを連動させることで、指先でページをめくる、指で範囲指定をする特徴と、キーボードで文字を入力する特徴を利用した操作ができる。これにより、作業効率のよいインターフェースを実現することができる。
【００５１】
また第１の実施形態では、文書画像と抽出結果／訂正用画面とを１つのディスプレイ１０５に表示させる必要があるため、その分抽出結果／訂正用画面の表示領域が狭くなる。第２の実施形態により、ディスプレイ１０５の全体を訂正用画面として利用することが可能となるため、属性の多い文書にも対応ができ、視認性の良い操作を行うことができる。
【００５２】
（第３の実施形態）
第３の実施形態では、デジタルペンやデジタルペン専用の用紙を用いた実装例について説明する。図１２は、第３の実施形態の構成例を示す図である。文書読み取りシステム３００Ｂは、第１の実施形態で説明したサーバシステム２に、訂正システム１００Ａ（情報処理システム）、ＭＦＰ４がネットワーク３を介して接続された構成となっている。ＭＦＰ４には、デジタルペン専用のシートＰ１が給紙カセット内に格納されており、文書画像を取得し、シートＰ１に文書画像を印刷する。
【００５３】
訂正システム１００Ａは、シートＰ１、デジタルペンＴ１、端末機１Ｃにより構成されている。ユーザはデジタルペンＴ１を用いて、シートＰ１上に描かれた文書画像に対し、領域を指定する。端末機１Ｃは、シートＰ１上のいずれの領域が指定されたかの情報を、座標情報として取得する。
【００５４】
シートＰ１には、記入位置が識別できるように、ドットや格子状マス目が印刷されている。ドットや格子状マス目は、位置によって異なるパターン形状となっている。
【００５５】
デジタルペンＴ１のボディ部には、ペン先方向を撮像するように配置されるカメラが内蔵されている。デジタルペンＴ１は、筆圧センサを有し、筆圧センサが筆圧を検知した場合にカメラが作動する。またデジタルペンＴ１のボディ部には、プロセッサ、メモリが内蔵されており、このプロセッサは、撮像されたドットパターンや格子状マス目パターンに基づき、記入位置を演算して取得し、記入位置をメモリ内に一時的に記憶させる。メモリ内には、筆跡に従った順序で記入位置が記憶される。またデジタルペンＴ１には、Ｂｌｕｅｔｏｏｔｈ通信等が可能な装置が内蔵されており、メモリ内の記入位置情報を端末機１Ｃに送信する。
【００５６】
このようなシートＰ１、デジタルペンＴ１として、従前のデジタルペン専用シート、従前のデジタルペンが採用されてもよい。
【００５７】
端末機１Ｃは、第１の実施形態の訂正用端末機１と同様のハードウェア構成を有するコンピュータであるため、ここでの説明は省略する（図１参照）。
【００５８】
図１３は、訂正システム１００Ａの構成例を示す機能ブロック図である。訂正システム１００Ａは、デジタルペンＴ１、シートＰ２を含んだ紙面座標取得部２１を有する。紙面座標取得部２１は、文書画像が印刷されたシートＰ１に対してのデジタルペンＴ１の筆跡情報（シートＰ１上の位置情報）を取得する。図１３に示されるその他の機能部は端末機１Ｃが有するものであり、その機能は第１の実施形態と同様である。
【００５９】
図１４を用いて、第３の実施形態の態様をさらに説明する。図１４の上段は、ＭＦＰ４により印刷された文書画像の一例を示している。この例に示すように、シートＰ１の最下段には、チェック用のボックスと、「氏名」、「前職」、「新職」の各属性情報が明記されている。また第１、第２の実施形態と同様に、シートＰ１には、どの部分が既に氏名、旧職、新職として抽出されているかが色分け表示されていてもよい。これらの属性情報や色分けが付与された文書画像は、本実施形態では抽出結果ファイル内の対応関係に基づきＯＣＲサーバ２Ｂが作成するものとするが、端末機１Ｃが作成しても構わない。
【００６０】
紙面座標取得部２１は、ユーザにより枠で囲まれ、もしくはアンダーラインが引かれた文字列の位置情報を取得する。また紙面座標取得部２１は、ユーザがいずれのチェックボックスに印をいれたかを位置情報で取得する。これら位置情報は、デジタルペンＴ１により取得され、デジタルペンＴ１のメモリに記憶される。
【００６１】
領域取得部１４は、紙面座標取得部２１により取得された位置情報と、抽出結果ファイル内の座標情報とを比較して、文書画像内の領域を取得する。文字情報取得部１５は、領域取得部１４により取得される領域に対応する文字列を取得する。一方、指定欄取得部１２は、紙面座標取得部２１により取得されるチェック印が付された位置情報を基に、いずれの属性情報が指定されているかの情報を取得する。これにより、指定欄取得部１２は、図１４下段に示す抽出結果／訂正用画面上のいずれの欄が指定されたかを特定することができる。訂正画面表示部１３は、文字情報取得部５により取得される文字列を、指定欄取得部１２により取得される欄に、編集可能な状態で表示する（図１４の下段参照）。
【００６２】
尚、デジタルペンＰ１は、筆跡（位置情報）を順序立てて記憶することが可能であることから、氏名として抽出すべき文字列に枠やアンダーラインを記載し、その後、氏名に関するボックスに印付けをする、という順序にユーザが従うことで、先に記した枠やアンダーラインは氏名の属性情報となる文字列である、ということを確定させることができる。よって、引き続き同じシートを用いて前職に関する指定（文字列指定後に「前職」のチェックボックスに印を入れる）、新職に関する指定（文字列指定後に「新職」のチェックボックスに印を入れる）も行うことができる。位置情報は、シーケンシャルに記憶されているため、後段処理を行う領域取得部１４や指定欄取得部１２、文字情報取得部１５は、属性情報と文字列との対応付けを正確に実施することができる。
【００６３】
尚、上記ではデジタルペン専用のシートを用いるものとして説明したが、デジタルペン近傍にセンサ装置を配置させて筆記位置を検出する形式の場合は、デジタルペン専用のシートでなくても構わない。この場合、紙面座標取得部２１の構成は、デジタルペン、センサ装置を含むものとなる。
【００６４】
第３の実施形態のように、デジタルペンを使用することで、ユーザが指定した情報を、簡単にかつ確実に抽出することができる。
【００６５】
第１の実施形態（図４を参照）における入力部１１は、第１の入力部、第２の入力部に相当する。第２の実施形態（図１０を参照）における入力部１１は第２の入力部に相当し、入力部１１Ａは、第１の入力部に相当する。また文書画像表示部１６、１６Ａは、第１の表示部に相当し、訂正画面表示部１３は、第２の表示部に相当する。
【００６６】
以上、この実施形態で説明した態様により、フリーフォーマット文書に抽出すべき文字列があり、その抽出ができていない場合、容易な手順で訂正することができ、データの取得漏れを低減させることができる。
【００６７】
なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６８】
１  訂正用端末機、１Ａ、１Ｃ  端末機、１Ｂ  タブレットＰＣ、２  サーバシステム、２Ａ  ＦＡＸサーバ、２Ｂ  ＯＣＲサーバ、２Ｃ  ファイルサーバ、３  ネットワーク、４  ＭＦＰ、１１  入力部、１１Ａ  入力部（タッチパネル式）、１２  指定欄取得部、１３  訂正画面表示部、１４  領域取得部、１５  文字情報取得部、１６、１６Ａ  文書画像表示部、２１  紙面座標取得部、１００、１００Ａ  訂正システム、３００、３００Ｂ  文書読み取りシステム、Ｔ１  デジタルペン、Ｐ１  デジタルペン専用シート。
【図１】
2013196479.tif 000003
【図２】
2013196479.tif 000004
【図３】
2013196479.tif 000005
【図４】
2013196479.tif 000006
【図５】
2013196479.tif 000007
【図６】
2013196479.tif 000008
【図７】
2013196479.tif 000009
【図８】
2013196479.tif 000010
【図９】
2013196479.tif 000011
【図１０】
2013196479.tif 000012
【図１１】
2013196479.tif 000013
【図１２】
2013196479.tif 000014
【図１３】
2013196479.tif 000015
【図１４】
2013196479.tif 000016