(57)【特許請求の範囲】
【請求項１】
フォーム内のキーワード領域と該フォーム内の罫線とについて、該キーワード領域と該キーワード領域を囲む４本の該罫線との相対位置により関連付けて登録したフォーム辞書と、
入力画像が入力されると、前記フォーム辞書の各フォームの罫線と該入力画像の罫線とを照合するマッチング手段と、
前記マッチング手段において照合し得られたフォームの罫線とキーワード領域との相対的位置情報に基づき、キーワード領域を囲む４本の罫線について、それぞれの罫線からのキーワード領域の上下左右の座標位置を前記フォーム辞書から推定し、入力画像のキーワード領域を抽出する抽出手段と、
からなることを特徴とするキーワード領域抽出装置。
【請求項２】
入力画像のキーワード領域の一辺の座標を複数の罫線から推定された複数候補から決定することを特徴とする請求項１記載のキーワード領域抽出装置。
【請求項３】
複数の罫線から推定されたキーワード領域の上下左右の各辺の座標位置において、各辺の座標値の侯補から値が近いものに注目して、それらの間の平均値で、または、各辺の座標値の候補の頻度分布をとった際の最頻度を示す座標値で、その辺の座標値を決定することを特徴とする請求項２記載のキーワード領域抽出装置。
【請求項４】
登録、抽出するキーワード領域として、表内の罫線内接矩形(セル)あるいは表外の文字列外接矩形を扱うことを特徴とする請求項１記載のキーワード領域抽出装置。
【請求項５】
入力画像のキーワード領域の一辺の座標を複数の罫線から推定された複数候補から決定することを特徴とする請求項４記載のキーワード領域抽出装置。
【請求項６】
複数の罫線から推定されたキーワード領域の上下左右の各辺の座標位置において、各辺の座標値の候補から値が近いものに注目して、それらの間の平均値でその辺の座標値を決定することを特徴とする請求項５記載のキーワード領域抽出装置。
【請求項７】
入力画像から罫線で囲まれる矩形領域(セル)を求め、フォーム辞書に登録して有るキーワード領域に最も近いセルを求め、それを入力画像中のキーワード領域候補とすることを特徴とする請求項１記載のキーワード領域抽出装置。
【請求項８】
推定キーワード領域の縦横比と辞書のフォームのキーワード領域の縦横比を比較して大きく異なる場合に、推定キーワード領域を作るときに用いた複数の辺座標候補の中から縦横比を満足するものを選択することを特徴とする請求項１記載のキーワード領域抽出装置。
【請求項９】
罫線から抽出された推定キーワード領域とセルから抽出された推定キーワード領域を組み合わせてキーワード領域を抽出することを特徴とする請求項１記載のキーワード領域抽出装置。
【請求項１０】
入力画像から表と見なされる領域を抽出し、その外側にある文字列を囲む矩形を求め、フォーム辞書に登録して有るキーワード領域に最も近い表外文字列矩形を求め、それを入力画像中のキーワード領域候補とすることを特徴とする請求項１記載のキーワード領域抽出装置。
【請求項１１】
入力画像内で推定したキーワード領域が表の内にあるか外にあるかを判別して、表の内部の場合は、表内で最も近い罫線の内接矩形領域をキーワード領域として出力し、表の外部の場合は表外の最も近い文字列の外接矩形領域をキーワード領域として出力することを特徴とする請求項１記載のキーワード領域抽出装置。
【請求項１２】
フォーム辞書のキーワード領域とそれに最も近い表内の罫線の内接矩形領域との距離値と、フォーム辞書のキーワード領域とそれに最も近い表外の文字列の外接矩形領域との距離値とを比較して、距離値が小さい方を出力することを特徴とする請求項１記載のキーワード領域抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子的に入力された文書をキーワードを用いて検索するために使用される入力文書中のキーワード領域の抽出方式に関する。
【０００２】
【従来の技術】
近年、オフィスの効率化のために紙文書を電子化して光ディスク等に保存する「電子ファイリング」の需要が増加している。従来の電子ファイリングは、スキャナなどで文書入力する際に、後の検索のためのキーワードをキー入力する必要があった。この不便さを解消するために、既に、文書タイトルをキーワードとして自動抽出／登録する技術を開発した（特願平７−２２９５０８号、特願平７−３４１９８３号）。これにより表外にあるタイトルは、約９０％の精度で自動抽出ができた。しかし、表内のタイトルについては、約５５％と実用にするには精度が不十分であった。
【０００３】
表内のタイトル等のキーワードを高精度に自動抽出するために、予め表を含む文書を登録して、後で登録文書については高精度で正しいキーワードを抽出する「表形式文書のフォーム学習」を開発した（特願平８−３４２１８５号、特願平８−３５１３４６号）。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来使用されているキーワード領域抽出技術は、電子ファイリングで使われる以下のような固定フォーム入力の中で使われているものである。
１）フォーム登録時：
フォーム登録用に文書を入力し、文書画像上の特定領域をユーザが指定することにより、その領域の座標を、文書画像の左上を原点とした絶対座標で記憶する。
２）  文書自動入力時：
文書入力すると、電子ファイリングシステム内部で文書のマッチングを行い、入力文書と同じフォームを登録辞書内にある文書の中から選択する。選択された文書には、フォーム登録時に指定されたキーワード領域座標が格納してあるので、それを使用して、キーワード領域の絶対座標の領域を抽出し、その内部を文字認識して、キーワードの文字コードを抽出する。ここで、入力文書のキーワード領域とは必ずしも罫線等で囲まれているものではないから、正確なキーワード検索を行うためには境界情報の正確な抽出が必要である。
【０００５】
しかしながら、上記方法は、キーワード領域の座標が絶対座標であるので、フォーム登録時と入力時の文書画像のズレ（傾き、位置ズレなど）やＦＡＸなどによる若干の文書の形の伸縮変化があると正しいキーワード領域を抽出することができない問題点があった。
【０００６】
【課題を解決するための手段】
本発明は、入力画像と予め登録しておいた辞書のフォームが正しくマッチングされた場合に、マッチしたフォーム辞書に登録されているキーワード領域に相当する入力画像上の領域を正しく抽出するものである。
【０００７】
本発明では、キーワード領域の座標を絶対座標でなく、文書画像中にあるキーとなる物理的オブジェクト（例えば表罫線）からの相対座標として定義することにより、従来技術のような画像のズレや形の変化に対してロバストなキーワード領域抽出を実現する。
【０００８】
図１は本発明のキーワード領域抽出方式の原理図である。
Ａ）  辞書登録時
１）文書画像のフォームからキーとなる物理的オブジェクト（表罫線、特定の画像、特定の文字／文字列など）を物理オブジェクト抽出手段１で求める。
【０００９】
２）文書画像のフォームからユーザが指定したキーワード領域を手段２により抽出する。
３）キーとなる物理的オブジェクトとキーワード領域の相対的位置関係を求め、それをキーオブジェクトの位置と共にフォーム辞書３に記憶する。
Ｂ）  文書入力時
１）入力文書画像４にマッチする辞書内のフォームをマッチング手段５により決定する。
【００１０】
２）入力文書画像からキーとなる物理的オブジェクト（表罫線、特定の画像、特定の文字／文字列など）を求める。
３）マッチしたフォーム辞書内のキーオブジェクトとそこからのキーワード領域の相対座標を参照して、入力文書画像の同じキーオブジェクト位置から相対位置にあるキーワード領域をキーワード領域抽出手段６で求める。
【００１１】
本発明では罫線等からの相対位置情報を使って罫線等の近傍のキーワード領域を正確に抽出することにより、キーワードの適切な検索が可能となる。特に、入力時の文書画像のズレやＦＡＸ等による文書画像の変化した場合にも正確にキーワード領域を抽出できる。
【００１２】
既に出願されている発明（特願平８−３４２１８５号、特願平８−３５１３４６号）と本発明を併せて、電子ファイリングでのフォーム学習を使った有効なキーワード自動抽出が実現可能となる。
【００１３】
請求項１の発明は、フォーム内のキーワード領域と該フォーム内の罫線とについて、該キーワード領域と該キーワード領域を囲む４本の該罫線との相対位置により関連付けて登録したフォーム辞書と、入力画像が入力されると、前記フォーム辞書の各フォームの罫線と該入力画像の罫線とを照合するマッチング手段と、前記マッチング手段において照合し得られたフォームの罫線とキーワード領域との相対的位置情報に基づき、キーワード領域を囲む４本の罫線について、それぞれの罫線からのキーワード領域の上下左右の座標位置を前記フォーム辞書から推定し、入力画像のキーワード領域を抽出する抽出手段と、からなることを特徴とするキーワード領域抽出装置である。
【００１６】
請求項２の発明は、請求項１の発明において、入力画像のキーワード領域の一辺の座標を複数の罫線から推定された複数候補から決定することを特徴とする。
【００１７】
請求項３の発明は、請求項２の発明において、複数の罫線から推定されたキーワード領域の上下左右の各辺の座標位置において、各辺の座標値の侯補から値が近いものに注目して、それらの間の平均値で、または、各辺の座標値の候補の頻度分布をとった際の最頻度を示す座標値で、その辺の座標値を決定することを特徴とする。
請求項４の発明は、請求項１の発明において、登録、抽出するキーワード領域として、表内の罫線内接矩形(セル)あるいは表外の文字列外接矩形を扱うことを特徴とする。
【００１８】
請求項５の発明は、請求項４の発明において、入力画像のキーワード領域の一辺の座標を複数の罫線から推定された複数候補から決定することを特徴とする。請求項６の発明は、請求項５の発明において、複数の罫線から推定されたキーワード領域の上下左右の各辺の座標位置において、各辺の座標値の候補から値が近いものに注目して、それらの間の平均値でその辺の座標値を決定することを特徴とする。
【００１９】
請求項７の発明は、請求項１の発明において、入力画像から罫線で囲まれる矩形領域(セル)を求め、フォーム辞書に登録して有るキーワード領域に最も近いセルを求め、それを入力画像中のキーワード領域候補とすることを特徴とする。
【００２０】
請求項８の発明は、請求項１の発明において、推定キーワード領域の縦横比と辞書のフォームのキーワード領域の縦横比を比較して大きく異なる場合に、推定キーワード領域を作るときに用いた複数の辺座標候補の中から縦横比を満足するものを選択することを特徴とする。
【００２１】
請求項９の発明は、請求項１の発明において、罫線から抽出された推定キーワード領域とセルから抽出された推定キーワード領域を組み合わせてキーワード領域を抽出することを特徴とする。
【００２２】
請求項１０の発明は、請求項１の発明において、入力画像から表と見なされる領域を抽出し、その外側にある文字列を囲む矩形を求め、フォーム辞書に登録して有るキーワード領域に最も近い表外文字列矩形を求め、それを入力画像中のキーワード領域候補とすることを特徴とする。
【００２３】
請求項１１の発明は、請求項１の発明において、入力画像内で推定したキーワード領域が表の内にあるか外にあるかを判別して、表の内部の場合は、表内で最も近い罫線の内接矩形領域をキーワード領域として出力し、表の外部の場合は表外の最も近い文字列の外接矩形領域をキーワード領域として出力することを特徴とする。
【００２４】
請求項１２の発明は、請求項１の発明において、フォーム辞書のキーワード領域とそれに最も近い表内の罫線の内接矩形領域との距離値と、フォーム辞書のキーワード領域とそれに最も近い表外の文字列の外接矩形領域との距離値とを比較して、距離値が小さい方を出力することを特徴とする。
【００３０】
【発明の実施の形態】
以下、本発明の一実施例を図面を参照して説明する。
本発明は、表形式文書（文書中に表が１つ以上ある文書）を対象とする。
Ａ）フォーム登録時
フォームとは、入力文書画像を構成する物理的オブジェクト（罫線、文字、図形）のレイアウト構造を表す。
【００３１】
図２のフローチャートに示すように、先ず表形式文書画像を入力（ステップＳ１）し、その中の物理オブジェクトとして例えば縦横の罫線を抽出し（ステップＳ２）、その罫線から例えば罫線の位置や長さ等のフォームマッチング用の特徴量を抽出し（ステップＳ３）、その特徴量をフォームマッチング用の辞書へ登録（ステップＳ４）する。次に、ユーザに文書画像を提示、ユーザがマウスクリック等で座標を指示することによりキーワード領域を獲得する（ステップＳ５）。そして、キーワード領域座標と罫線座標をキーワード領域抽出用の辞書へ登録する（ステップＳ６）。
Ｂ）フォームマッチングによるキーワード領域抽出
図３に示すように、表形式文書画像を入力し（ステップＳ１０）、その罫線を抽出し（ステップＳ１１）、そして縦横の４本の罫線で囲まれたセルを抽出する（ステップＳ１２）。入力画像の表外文字列も抽出する（ステップＳ１３）。罫線からフォームマッチング用の特徴量を抽出する（ステップＳ１４）。入力文書とフォームマッチング用の辞書とのフォームのフォームマッチングを行い（ステップＳ１５）、マッチした辞書内文書を選択する。
【００３２】
辞書内文書の表罫線と入力文書の表罫線の対応関係を求める（ステップＳ１６）。図４は辞書と入力画像との対応関係を示し、例えば、表１０，１１内の横罫線同士あるいは縦罫線同士を対応させる。
【００３３】
辞書内文書で対応関係がある罫線の中で、最も辞書内のキーワード領域１２に近いもの（最大）４本（罫線１３，１４，１５，１６）を選択する（ステップＳ１７）。ここで、キーワード領域とは実際に罫線で囲まれている必要はなく、座標値で指定されるものである。
【００３４】
辞書内（最大）４罫線とキーワード領域の相対的位置関係を求める（ステップＳ１８）。
辞書内から選択した（最大）４罫線に対応する入力文書内の罫線（最大４罫線１７，１８，１９，２０）を求める（ステップＳ１９）。
【００３５】
入力文書の対応罫線の位置情報と辞書内４罫線とキーワード領域の相対的位置関係情報から入力文書中の複数のキーワード候補領域座標を求める（ステップＳ２０）。複数のキーワード候補座標の中から最も良いものを多数決によってキーワード領域として抽出する（ステップＳ２１）。ここまでで、入力文書内のキーワード領域２１が辞書における罫線とキーワード領域１２との相対位置に基づいて抽出できる。
【００３６】
次のこのキーワード領域２１が辞書のキーワード領域１２と同じものか否かをチェックする。
すなわち、フォーム辞書のキーワード領域１２の縦横比による推定キーワード領域座標のチェック（ステップＳ２２）を行う。
【００３７】
次に「セルから推定したキーワード領域」を抽出する（ステップＳ２３）。セルとは、図４に示すように罫線によって囲まれる部分２２である。図４ではキーワード領域２１は１つのセル２２内に存在する。
【００３８】
「推定キーワード領域」と「セルから推定したキーワード領域」の両方を考慮した最終的な推定キーワード領域抽出（ステップＳ２４）を行う。
以上で表１１内のキーワード領域は抽出された。
【００３９】
次に、表外のキーワード領域を抽出するために、図５に示すように、推定キーワード領域に最も近い表外文字列（２６，２７）を抽出する（ステップＳ２５）。
【００４０】
推定キーワード領域２１と重複する表外文字列（２６，２７）を統合（ステップＳ２６）して、表外のキーワード領域２８とする。
推定キーワード領域の上にある矩形も抽出（ステップＳ２７）する。そして、表内外を考慮した最終的キーワード領域の決定／出力（ステップＳ２８）を行う。
【００４１】
図６は本発明のシステム構成図である。
文書を光電変換装置３０を介して電子的にファイル３１に格納する。そして電子的文書をキーワードを使って検出するためのフォーム辞書を作成し、本発明のキーワード領域抽出方式をメモリ３２に格納されたプログラムを使ってプロセッサ３３によって実行する。なお、バス３５は各装置間及びディスプレイ３４を接続する。
【００４２】
次に、Ａフォーム登録時、およびＢフォーマッチングによるキーワード抽出の具体的処理内容を説明する。Ａ，Ｂ両者に共通の処理も、一方のみで行われる処理もある。
１）罫線抽出処理
この処理はＡフォーム登録時もＢフォームマッチング時も行われる。
【００４３】
図７は、実施形態の罫線抽出装置の機能ブロック図である。図７において、対象となる入力パターン４１は、極端な傾きや回転を補正した後の２値画像である。
【００４４】
まず、縮小処理部４２が画像を縮小し、連結パターン抽出部４３が連結パターンを抽出した後、罫線抽出装置は矩形高さの最頻値を計算し（処理Ｐ１）、マスク処理部４４が細線化を行う。
【００４５】
次に、横直線抽出部４５が、横隣接投影（処理Ｐ２）、横線分検出（処理Ｐ３）、横線分統合（処理Ｐ４）、および横直線探索（処理Ｐ５）を行った後、罫線抽出装置は横点線検出（処理Ｐ６）を行う。次に、縦直線抽出部４６が、縦隣接投影（処理Ｐ７）、縦線分検出（処理Ｐ８）、縦線分統合（処理Ｐ９）、および縦直線探索（処理Ｐ１０）を行った後、罫線抽出装置は縦点線検出（処理Ｐ１１）を行う。
【００４６】
次に、罫線抽出装置は、横直線の高さの最頻値を計算し（処理Ｐ１２）、縦直線の幅の最頻値を計算し（処理Ｐ１３）、横線分の高さの最頻値を計算し（処理Ｐ１４）、縦線分の幅の最頻値を計算する（処理Ｐ１５）。次に、完全に重複する直線同士を統合し（処理Ｐ１６）、直線矩形の形や隣の直線矩形までの距離を元に不要な直線を除去する（処理Ｐ１７）。次に、縦横の直線間の接続関係を元に不要な直線を除去し（処理Ｐ１８）、部分的に重複する直線同士を統合する（処理Ｐ１９）。
【００４７】
次に、罫線抽出装置は、他の直線とほぼ完全に重複する直線を除去し（処理Ｐ２０）、所定のしきい値より大きな線分だけから成る直線を除去する（処理Ｐ２１）。そして、別のしきい値より大きな線分にマークを付け（処理Ｐ２２）、対象とする線分をシフトしながら直線をチェックし、不要な直線を除去して（処理Ｐ２３）、残された直線を出力する。
【００４８】
なお、この罫線抽出処理は特願平８−１０７５６８号及び特に網かけ部は特願平８−３４２１８５号に詳述されている。
２）セル抽出
入力画像の縦横罫線で囲まれるセルを求める。
３）フォームマッチング用の特徴量抽出処理
フォームマッチング用の特徴量としては、罫線の位置や大きさ、あるいは中心点を用いる。このフォームマッチングの特徴量、および下記の５）フォームマッチング処理および６）辞書内文書と入力文書との対応関係を求める処理については特願平８−３５１３４６号に開示されているので、詳細な説明は省略する。
４）ユーザに文書画像を提示、キーワード領域獲得処理
文書画像をディスプレイに表示し、マウスなどのポインティングデバイスを使用して、ユーザにキーワード領域を指定してもらう。指定領域の座標を獲得する。これは辞書登録時のみ行われる。
５）フォームマッチング処理（マッチした辞書内文書の選択処理）
このフォームマッチング処理としては、各種存在するが、一例をあげれば表のフォームの罫線情報を格納し、入力画像から抽出された罫線と格納されている罫線情報に含まれる罫線の間の対応可能な複数の組合わせを求めて、該複数の組合わせの中から互いに両立する２つ以上の組合わせを含むグループを、他のグループの組合わせが含まれないように抽出し、抽出された１つ以上のグループに含まれる組合わせの情報に基づいて、入力画像と表のフォームを照合することにより入力文書と辞書内の文書とのマッチしたものを選択する。
６）辞書内文書の表罫線と入力文書の罫線の対応関係を求める処理
辞書内文書の表罫線と入力文書の罫線との対応関係としては、例えば１つ以上のグループ間で罫線の対応関係が互いに矛盾しないグループの集合を抽出し、このグループの集合の中で含まれる罫線の組合わせの数が最も多い最適集合を求め、この最適集合の各グループに含まれる組合わせ情報に基づいて入力画像と表のフォームを対応付け最適対応関係のものを抽出する。
７）フォーム辞書の表の辺の長さのしきい値計算処理
フォーム辞書内の表の縦横の辺長さの最大のものを求め（ｍｏｄｅｌ  ｍａｘｌｅｎ）  、ｍｏｄｅｌ  ｍａｘｌｅｎ／４をキーワード領域に近い罫線を探す際のしきい値とする。このしきい値以上の長さの辺を表のマッチングに用いる。
８）入力画像の表の辺の長さのしきい値計算処理
同様に表の縦横の辺長さの最大のものを求め（ｉｎｐｕｔ  ｍａｘｌｅｎ）  、ｉｎｐｕｔ  ｍａｘｌｅｎ／４をキーワード領域に近い罫線を探す際のしきい値とする。図４はフォーム辞書の表１０と入力画像の表１１との対応も示す。
９）表の辺の長さのしきい値の比の計算処理
ｉｎｐｕｔ  ｍｏｄｅｌ  ＲＡＴＥ  ＝  ｉｎｐｕｔ  ｍａｘｌｅｎ  ／  ｍｏｄｅｌ  ｍａｘｌｅｎをしきい値の比として求める。
１０）フォーム辞書の縦横罫線長さのしきい値の計算処理
フォーム辞書の縦横罫線長さの最大値を求め、それを１／４してしきい値とする。このしきい値以下の長さの罫線は、信頼性の見地からマッチングの際に用いない。
１１）辞書内文書で対応関係がある罫線の中で、最も辞書内のキーワード領域に近いもの（最大）４つを選択する処理
フォーム辞書内に格納されているキーワード領域の座標を求め、そのフォームの縦横罫線の内、入力画像の罫線と対応しており、かつ長さが縦横の罫線長さのしきい値以上の長さのものだけを対象にして、もっともキーワード領域に近い罫線を求める。図４では、キーワード領域１２に近い罫線は罫線１３，１４，１５，１６である。
【００４９】
図８は、辞書キーワード領域の上にある横罫線を見つける手順を示す。
図９は、フォーム辞書に格納されている文書フォームであって、図８のフローチャートで用いる変数を図示する。
【００５０】
フォーム辞書キーワード領域の高さを求める：ｔａｇｈｅｉｇｈｔ
フォーム辞書キーワード領域の幅を求める：ｔａｇｗｉｄｔｈ
最も近い罫線とキーワード領域の高さまたは幅との比を求める
例）キーワード領域の上の最も近い罫線の長さをｈｌｅｎとして求めたとき、
比は、ｔａｇｈｅｉｇｈｔ  ｒａｔｅ  ＝  ｔａｇｈｅｉｇｈｔ／ｈｌｅｎ  で求める
同様にｔａｇｗｉｄｔｈ  ｒａｔｅ  ＝  ｔａｇｗｉｄｔｈ／ｖｌｅｎ  で求める
ｖｔｏｐ：  対応付けがある縦罫線の中で最もキーワード領域に近いものの上ｙ座標
ｖｂｏｔｔｏｍ：対応付けがある縦罫線の中で最もキーワード領域に近いものの下ｙ座標
ｖｌｅｎ＝ｖｂｏｔｔｏｍ−ｖｔｏｐ＋１
ｔａｇｔｏｐ：  キーワード領域の上ｙ座標
ｄｉｆｆｌｅｆｔ  ｕｐ＝  ｔａｇｔｏｐ−ｖｔｏｐ
ｕｐｌｅｆｔ  ｒａｔｅ  ＝  ｄｉｆｆｌｅｆｔ  ｕｐ／ｖｌｅｎ
辞書キーワード領域の上にある最も近い横罫線の番号と距離値を求める。図８において、辞書のキーワード領域より横罫線が上にある（ステップＳ３１）場合には、その上の横罫線までの距離を求め、求めた距離がいままで求めた距離の中で最小である場合には（ステップＳ３２）その距離値と罫線番号を記録し、対応関係がある横罫線が他にある（ステップＳ３３）場合には、再び上述の各ステップを繰り返し、上方の横罫線とその最小の距離を獲得する。
１２）辞書内（最大）４罫線とキーワード領域の位置関係を求める処理
上罫線の場合の例で求める位置関係の情報を図９を参照して説明する。
【００５１】
0003601650.tif 000002
キーワード領域からみて罫線が無いまたは、対応する罫線が無い方向がある場合には、罫線番号に−１を記録する。
１３）辞書内から選択した（最大）４罫線に対応する入力文書内の罫線（最大４つ）を求める処理
辞書罫線と入力罫線の対応表から上で選択した辞書のキーワード領域に最も近い辞書罫線に対応する入力画像罫線の番号を求める。図１０は各変数を画面上に示す。
【００５２】
ｉｎ  ｕｐｌｉｎｅ  ：  ｕｐｌｉｎｅに対応する入力画像中の横罫線番号
ｉｎ  ｄｏｗｎｌｉｎｅ  ：  ｄｏｗｎｌｉｎｅに対応する入力画像中の横罫線番号
ｉｎ  ｌｅｆｔｌｉｎｅ  ：  ｌｅｆｔｌｉｎｅに対応する入力画像中の縦罫線番号
ｉｎ  ｒｉｇｈｔｌｉｎｅ  ：  ｒｉｇｈｔｌｉｎｅに対応する入力画像中の縦罫線番号
対応つく罫線が無い場合は−１を設定しておく。
【００５３】
同様の処理をキーワード領域の下辺と横罫線の関係、左辺または右辺と縦罫線の関係において行う。
キーワード領域からみて罫線が無いまたは、対応する罫線が無い方向がある場合には、罫線番号に−１を記録して記しとする。
１４）入力文書の対応罫線の位置情報と辞書内４罫線とキーワード領域の位置関係情報から入力文書中の複数のキーワード領域座標候補を求める処理
キーワード候補領域の抽出処理
例）ｉｎ  ｕｐｌｉｎｅ  を基準にしたキーワード領域の推定
キーワード領域の上罫線矩形を基準にした入力画像のキーワード領域座標の推定（ｉｎｐｕｔｃｅｌｌｔｏｐ１，  ｌｅｆｔ１，  ｒｉｇｈｔ１，  ｂｏｔｔｏｍ１）
キーワード領域の左罫線矩形を基準にした入力画像のキーワード領域座標の推定（ｉｎｐｕｔｃｅｌｌｔｏｐ２）
キーワード領域の右罫線矩形を基準にした入力画像のキーワード領域座標の推定（ｉｎｐｕｔｃｅｌｌｔｏｐ３）
0003601650.tif 000003
を求める。
１５）多数決によるキーワード候補座標から「罫線から推定したキーワード領域」抽出
上座標抽出を説明する。
【００５４】
図１１において、ステップＳ４１，４２，４３、  ｉｎｐｕｔｃｅｌｌ１，２，３の中から近いものだけを対象にしてその違いの量を求める。すなわち  ｉｎｐｕｔｃｅｌｌ１，２の両方が有効の時（ステップＳ４１）には、その差の絶対値をｄｉｆｆ１２として求める。そして、  ｉｎｐｕｔｃｅｌｌ１，３の両方が有効な時（ステップＳ４２）には、その差の絶対値をｄｉｆｆ１３として求める。次に、  ｉｎｐｕｔｃｅｌｌ２３が有効な時（ステップＳ４３）には、その差の絶対値をｄｉｆｆ２３として求める。
【００５５】
次に、ステップＳ４４は仮のキーワード領域上の座標（ｙ座標）を使える状況から強制的に求めておく。すなわち、既に  ｉｎｐｕｔｃｅｌｌが設定されていない場合には（ステップＳ４４）、  ｉｎｐｕｔｃｅｌｌｔｏｐ  ２、および３から強制的に  ｉｎｐｕｔｃｅｌｌを求める。この処理を行った後ｈａｌｆ  ｆｌａｇ  をたてておく。
【００５６】
次に、図１２に移り、ステップＳ４５ないし４７において、値の近いものから平均を求める。すなわちてｄｉｆｆ１２がしきい値より小さい場合（ステップＳ４５）、平均値を求めるため和とカウント数を求める。ｄｉｆｆ１３およびｄｉｆｆ２３についても同様の処理を行う（ステップＳ４６，４７）。図１３においてカウント数が０でなく、平均値が求められる場合には（ステップＳ４８）、ｔｏｐｓｕｍ／ｔｏｐｃｏｕｎｔ  により平均値を求め、それを  ｉｎｐｕｔｃｅｌｌｔｏｐ  とする。平均値を求めたことをフラグに、ｍｅａｎｆｌａｇｔｏｐ  ＝１として記録する。カウント数が０の時は（ステップＳ４８）平均値を求めることができないので、使える情報だけすなわち  ｉｎｐｕｔｃｅｌｌｔｏｐ  １，２または３からだけの各罫線から推定したキーワード領域の上座標を抽出する（ステップＳ４９〜Ｓ５１）。同様にｂｏｔｔｏｍ，  ｒｉｇｈｔ，  ｌｅｆｔ  を求めることにより、罫線から推定するキーワード領域を入力画像について求めることができる。
【００５７】
図１４には  ｉｎｐｕｔｃｅｌｌｔｏｐ  １，２，３からキーワード領域の一辺を求める関係を図示する。
１６）フォーム辞書のキーワード領域の縦横比による推定キーワード領域座標のチェックを図１５及び図１６を参照して説明する。
【００５８】
0003601650.tif 000004
以上のキーワード領域の縦横比を基準にして座標候補の  ｉｎｐｕｔｃｅｌｌ１を使った方が  ｉｎｐｕｔｃｅｌｌを使った場合より縦横比がマッチする場合には、  ｉｎｐｕｔｃｅｌｌ１を  ｉｎｐｕｔｃｅｌｌの代わりに使用する（ステップＳ６１〜６４））。すなわち、平均で求めたものでない時（ステップＳ６１）、  ｉｎｐｕｔｃｅｌｌｒａｔｅが  ｔａｇｒａｔｅ±マージンの範囲に入らないで  ｉｎｐｕｔｃｅｌｌｒａｔｅとｔａｇｒａｔｅ  が相当違う時は（ステップＳ６２）、合計フラグを０とし、  ｉｎｐｕｔｃｅｌｌｔｏｐ  １が有効の時（ステップＳ６３）、  ｉｎｐｕｔｃｅｌｌｔｏｐ  の代わりに  ｉｎｐｕｔｃｅｌｌｔｏｐ  １を使って  ｉｎｐｕｔｒａｔｅを計算する。  ｉｎｐｕｔｒａｔｅとｔａｇｒａｔｅ  が近い場合（ステップＳ６４）には、  ｉｎｐｕｔｃｅｌｌｔｏｐ  １を  ｉｎｐｕｔｃｅｌｌに採用し、この方法により  ｉｎｐｕｔｃｅｌｌｔｏｐ  を作ったことを合計フラグ１としてフラグに記録する。
【００５９】
次に  ｉｎｐｕｔｃｅｌｌ２についても  ｉｎｐｕｔｃｅｌｌ１と同様の処理を行う（ステップＳ６５〜６７）。さらに  ｉｎｐｕｔｃｅｌｌｔｏｐ  ３についても同様の処理を行う（ステップＳ６８〜７０）。そして、  ｉｎｐｕｔｃｅｌｌｔｏｐ  を決定する。
【００６０】
ここまでで、入力画像の罫線から求めた推定キーワード領域が、ｉｎｐｕｔｃｅｌｌｔｏｐ，ｂｏｔｔｏｍ，ｌｅｆｔ，ｒｉｇｈｔの座標値で求まる。
１７）「セルから推定したキーワード領域」抽出を図１７を参照して説明する。
【００６１】
入力画像から求めたセルの中で、最も上の推定キーワード領域に近いセルの座標を求め、ｔｍｐｃｅｌｌｔｏｐ，ｂｏｔｔｏｍ，ｌｅｆｔ，ｒｉｇｈｔであらわす。
近さの尺度：
｜ｔｍｐｃｅｌｌｔｏｐ−ｉｎｐｕｔｃｅｌｌｔｏｐ  ｜＋｜ｔｍｐｃｅｌｌｂｏｔｔｏｍ−ｉｎｐｕｔｃｅｌｌｂｏｔｔｏｍ  ｜＋    ｜ｔｍｐｃｅｌｌｌｅｆｔ−ｉｎｐｕｔｃｅｌｌｌｅｆｔ  ｜＋｜ｔｍｐｃｅｌｌｒｉｇｈｔ−ｉｎｐｕｔｃｅｌｌｒｉｇｈｔ  ｜
最も近いセルと推定キーワード領域との距離（＝近さの尺度）をｈｙｏｕｉｎ  ｍｉｎｄｉｓｔとする。
【００６２】
先ず、対応する辺の差の絶対値の差として距離を定義し、今までの距離の中で最小のものを求め（ステップＳ７１）、その距離値とその番号を記録し、他にセルがなくなったら（ステップＳ７２）、推定キーワード領域に最も近いセルの番号と距離を得る。
【００６３】
図１８には罫線１４から求めたキーワード領域２１とセル２２の関係を示し、図１９にはキーワード領域２１に最も近いセル２２を選択するところを示す。
１８）「推定キーワード領域」と「セルから推定したキーワード領域」の両方を考慮した最終的な推定キーワード領域抽出する過程を図２０に示す。
【００６４】
「罫線から推定したキーワード領域」と「セルから推定したキーワード領域」から最もキーワード領域らしい領域座標を求める。
先ず、強制的に求めたものの時には（ステップＳ７８）、似ている座標の平均で求めたものでない（ステップＳ７９）を確認してセル座標を推定キーワード領域の座標とする。
【００６５】
ｂｏｔｔｏｍ，ｌｅｆｔ，ｒｉｇｈｔ  についても同様である。
ここまでで、セルの形状も考慮した表内の推定キーワード領域が決まる。
１９）推定キーワード領域に最も近い表外文字列抽出を図２１を参照して説明する。
【００６６】
入力画像から求めた表外文字列の中で、最も推定キーワード領域に近い文字列の座標を求める。近さの尺度は、文字列矩形の各辺の座標と推定キーワード領域の対応する辺の座標の差の絶対値の累積で行う（最も小さい距離：ｈｙｏｕｏｕｔ  ｍｉｎｄｉｓｔ）。
【００６７】
図２１において、表外の文字列矩形の集合から推定キーワード領域に最も近いものを求める（ステップＳ８０，８１）。
先ず、対応する辺の差の絶対値の和として距離を定義する。そして、今までの中で最小の距離値である場合には（ステップＳ８０）、その距離値と文字列矩形の各座標を記録し、他に表外文字列矩形がない場合には（ステップＳ８１）、推定キーワード領域に最も近い表外文字列を抽出する。
２０）推定キーワード領域と重複する表外文字列の統合を図２２，２３を参照して示す。
【００６８】
推定キーワード領域と表外文字列領域が重複する場合は、他の表外文字列矩形で重複するものを求め、すべての重複する文字列矩形を囲む矩形を求め、それを表外文字列矩形とする。
【００６９】
推定キーワード領域が部分的にも表外文字列の中の最も近いものと重複する場合（ステップＳ９０）には、求めたい表外文字列矩形座標の初期化を行い、表外文字Ｓの中から求めた１つの文字列が部分的にも推定キーワード領域に重複する場合（ステップＳ９１）には、表外文字列矩形と表外文字列の上下の座標があるマージンの中に収まるか、すなわち、ほぼ同一行にあるかを判断する（ステップＳ９２）。そしてこの場合には２つの文字列矩形を囲む外接矩形を求める（ステップＳ９３〜９７）。そして、他に表外文字列矩形がない時に推定キーワード領域と重複する表外文字列の統合されたものを得る。
２１）推定キーワード領域の上にある矩形抽出を図２４，２５を用いて説明する。
【００７０】
推定キーワード領域の上にある表矩形または文字列矩形を求め、その下の辺の座標を求める
ｉｎｐｕｔｃｅｌｌｔｏｐ  ＝    推定キーワード領域の上ｙ座標
ｉｎｐｕｔｃｅｌｌｂｏｔｔｏｍ  ＝      推定キーワード領域の下ｙ座標
ｉｎｐｕｔｃｅｌｌｌｅｆｔ  ＝      推定キーワード領域の左ｘ座標
ｉｎｐｕｔｃｅｌｌｒｉｇｈｔ  ＝    推定キーワード領域の右ｘ座標
先ず、推定キーワード領域の短い方を使って（ステップＳ１００）、しきい値  ｔｈｅ  ｃｅｌｌ  ｔｈｅｎを求める。そして、表矩形と  ｉｎｐｕｔｃｅｌｌ矩形がＸ方向で重複している場合（ステップＳ１０１）には、重複矩形が  ｉｎｐｕｔｃｅｌｌよりも上にあるかを判断する（ステップＳ１０２）。その場合には求める距離の近い表矩形を求める（ステップＳ１０３）。表外文字列矩形が  ｉｎｐｕｔｃｅｌｌとＸ方向に重複している場合には（ステップＳ１０５）、表外文字列矩形が  ｉｎｐｕｔｃｅｌｌよりも上であるかを判断する（ステップＳ１０６）。その場合には最も距離の近いものを求め、（ステップＳ１０７，１０８）推定キーワード領域上にある表矩形または文字矩形を抽出する。図２６は、表矩形２の中に推定キーワード領域がある場合、その上にある表矩形１、文字列矩形１，２，３を抽出する画像を示す。
２２）表内外を考慮した最終的キーワード領域の決定／出力
ａ）表内フラグの初期化    ｈｙｏｕｉｎｆｌａｇ＝０とし、表外であることをデフォルトとする
ｂ）推定キーワード領域と表矩形の重複チェック
図２７、図２８において、推定キーワード領域が表矩形に一部でも重複するかのチェックを行い、重複する場合は、推定キーワード領域と２１）で求めた辺との間の黒画素をチェックし、無い場合に表内フラグ：ｈｙｏｕｉｎｆｌａｇ  ＝  １（表内である）とする
表矩形がＸ方向で  ｉｎｐｕｔｃｅｌｌと重複している場合（ステップＳ１１０）には、表矩形の上辺が  ｉｎｐｕｔｃｅｌｌの上辺よりも上になるかを判断する（ステップＳ１１１）。そして、その場合には表矩形と  ｉｎｐｕｔｃｅｌｌ矩形でＸ方向で重複するところの座標を求める。すなわちこの範囲で黒画素があるか否かをチェックするためである（ステップＳ１１２〜１１３）。そして、求めた範囲内で１バイト単位でこの画素の有無を調べ、黒画素が重複長さよりも小さい場合には表内とする（ステップＳ１１４〜１１７）。
【００７１】
図２９は、推定キーワード領域と表矩形の重複チェックを示す図である。この図の場合、ｂｌａｃｋｂｙｔｅｓ  ＜  （ｘ２ｂ−ｘ１ｂ＋１）を満足して、ｈｙｏｕｉｎｆｌａｇ＝０となる。
ｃ）推定キーワード領域とセル重複チェックを図３０に示す。
【００７２】
推定キーワード領域がセルに重複する場合は、ｈｙｏｕｉｎｆｌａｇ＝１とする。
ステップＳ１１８は表外であることをデフォルトとするものであり、次に一部がキーワード領域と表とが重複するかを判断し（ステップＳ１１９）、重複する場合には表内にキーワード領域があると判定し、表内フラグをイコール１とする。一部が重複しない時には他のセル矩形がない時（ステップＳ１１９−１）には処理を終了する。推定キーワード領域とセルの重複の画像を図３１に示す。
ｄ）表内フラグによる表外キーワード距離のリセットを図３２に示す。
【００７３】
ｈｙｏｕｉｎｆｌａｇ＝＝０  のままの場合、ｈｙｏｕｏｕｔ  ｍｉｎｄｉｓｔ  ＝  ０  とする
ｅ）表内外を考慮した最終的キーワード領域の決定／出力
図３３において、ｈｙｏｕｉｎ  ｍｉｎｄｉｓｔ  ＜  ｈｙｏｕｏｕｔ  ｍｉｎｄｉｓｔの場合、推定キーワード領域を出力する。それ以外の場合表外文字列矩形領域をキーワード領域として出力する。
【００７４】
先ず表内外で距離の近い候補を出力し（ステップＳ１２０）、次に表内と判断された場合には最終的なセル矩形と  ｉｎｐｕｔｃｅｌｌ（キーワード推定領域）との合成領域を求めてそれを出力する（ステップＳ１２１〜１２４）。
【００７５】
図３４は、上記手順を画面上で説明する図であって、キーワード領域の上、右、下辺はセル矩形に近いので、セル矩形の座標を出力し、キーワード領域の左辺ではセル矩形から遠いので、キーワード領域の座標を出力することで最終的にキーワード領域を決定／出力する。
【００７６】
以上は物理的オブジェクトとして罫線を用い、その罫線を基準としてキーワード領域を求める方法を説明したが、物理的オブジェクトとしては図３３に示すように文字コードオブジェクトや図形パターンのオブジェクトとでもよい。
【００７７】
図３５の例のように、物理オブジェクトの例としては、
・会社名ロゴが図形パターン
・会社名などの文字コードがある領域
などがある。
【００７８】
この例では、会社名ロゴの領域と会社名文字コードの領域からの相対的位置関係によって、目的である氏名が記載されているキーワード領域を抽出する。
図３６は本発明に係るキーワード領域抽出方式のプログラムを記憶した記憶媒体の説明図である。同図においてコンピュータ５１は本体５４とメモリ５５とから構成されており、本体５４に対しては可搬型記憶媒体５２に記憶されたキーワード領域抽出方式のプログラムをロードすることも、また例えばプログラム提供者側からネットワーク５３を介してキーワード領域抽出方式のプログラムなどをロードすることも可能である。
【００７９】
本発明のプログラムは、例えば図３６におけるメモリ５５に格納され、そのプログラムは本体５４によって実行される。ここでメモリ５５としては、例えばランダムアクセスメモリ（ＲＡＭ）、またはハードディスクなどが使用される。
【００８０】
また、本発明のプログラムは可搬型記憶媒体５２に記録されて流通してもよい。この可搬型記憶媒体５２としてはメモリカード、フロッピーディスク、ＣＤ−ＲＯＭ（コンパクトディスクリードオンリメモリ）、光ディスク、光磁気ディスクなど市販され、流通可能な任意の記憶媒体を使用することができる。
【００８１】
【発明の効果】
本発明により、あらかじめ登録した表形式文書であれば、表の中、外の領域であっても、高精度にキーワード領域を自動抽出することが可能となる。
【００８２】
ビジネスで使う表形式文書１０４種のシミュレーション実験の結果では、
入力文書解像度が４００ｄｐｉ，３００ｄｐｉ，２００ｄｐｉ，ｆａｘ（２００×１００ｄｐｉ）の場合、抽出領域正解率は、それぞれ１００％、９９．０％、９５．２％、９５．２％という第１位キーワード領域抽出正解率を得ている。
【００８３】
なお、入力文書が大きく傾いて、あるいは回転して入力された場合には、さらにその傾き角度を考慮して罫線とキーワード領域との相対位置を決定すれば良い。
【００８４】
なお、この本発明を用いない表形式文書の表内キーワード領域の抽出正解率は、５５％だったことからみても、本発明の有効性は明らかである。
【図面の簡単な説明】
【図１】本発明の原理図である。
【図２】フォームの辞書登録を示す図である。
【図３】入力画像のキーワード領域抽出を示す図である。
【図４】表内キーワード領域の抽出を示す図である。
【図５】表外キーワード領域の抽出を示す図である。
【図６】本発明のシステム構成図である。
【図７】罫線抽出装置の機能ブロック図である。
【図８】辞書キーワード領域の上にある横罫線抽出を示す図である。
【図９】フォームの辞書における罫線とキーワード領域を示す図である。
【図１０】入力画像における罫線とキーワード領域を示す図である。
【図１１】多数決による罫線から推定したキーワード領域を示す図（その１）である。
【図１２】多数決による罫線から推定したキーワード領域を示す図（その２）である。
【図１３】多数決による罫線から推定したキーワード領域を示す図（その３）である。
【図１４】３本の罫線から推定するキーワード領域を示す図である。
【図１５】フォーム辞書のキーワード領域の縦横比による推定キーワード領域座標のチェックを示す図（その１）である。
【図１６】フォーム辞書のキーワード領域の縦横比による推定キーワード領域座標のチェックを示す図（その２）である。
【図１７】セルから推定したキーワード領域を示す図である。
【図１８】キーワード領域とセルを示す図である。
【図１９】キーワード領域に最も近いセルの選択を示す図である。
【図２０】罫線から推定したキーワード領域とセルから推定したキーワード領域から最終的キーワード領域の抽出を示す図である。
【図２１】推定キーワード領域に最も近い表外文字列抽出を示す図である。
【図２２】推定キーワード領域と重複する表外文字列抽出を示す図（その１）である。
【図２３】推定キーワード領域と重複する表外文字列抽出を示す図（その２）である。
【図２４】推定キーワード領域の上にある矩形抽出を示す図（その１）である。
【図２５】推定キーワード領域の上にある矩形抽出を示す図（その２）である。
【図２６】表矩形上の他の矩形の抽出を示す図である。
【図２７】推定キーワード領域と表矩形の重複チェックを示す図（その１）である。
【図２８】推定キーワード領域と表矩形の重複チェックを示す図（その２）である。
【図２９】推定キーワード領域と表矩形の重複を示す図である。
【図３０】推定キーワード領域とセル重複チェックを示す図である。
【図３１】推定キーワード領域とセル重複を示す図である。
【図３２】表内フラグによる表外キーワード距離のリセットを示す図である。
【図３３】表内外を考慮した最終的キーワード領域の決定を示す図である。
【図３４】最終的キーワード領域の決定を示す図である。
【図３５】文字コードオブジェクトと図形パターンオブジェクトの例を示す図である。
【図３６】キーワード領域抽出方式のプログラムを記憶する記憶媒体を説明する図である。
【符号の説明】
１  フォームの物理オブジェクト抽出
２  フォームのキーワード領域抽出
３  フォーム辞書
４  入力画像
５  マッチング
６  辞書フォームの物理オブジェクトとキーワード領域との相対位置を用いて入力画像の物理オブジェクトから入力画像のキーワード領域を抽出する手段
【図１】
0003601650.tif 000005
【図２】
0003601650.tif 000006
【図３】
0003601650.tif 000007
【図４】
0003601650.tif 000008
【図５】
0003601650.tif 000009
【図６】
0003601650.tif 000010
【図７】
0003601650.tif 000011
【図８】
0003601650.tif 000012
【図９】
0003601650.tif 000013
【図１０】
0003601650.tif 000014
【図１１】
0003601650.tif 000015
【図１２】
0003601650.tif 000016
【図１３】
0003601650.tif 000017
【図１４】
0003601650.tif 000018
【図１５】
0003601650.tif 000019
【図１６】
0003601650.tif 000020
【図１７】
0003601650.tif 000021
【図１８】
0003601650.tif 000022
【図１９】
0003601650.tif 000023
【図２０】
0003601650.tif 000024
【図２１】
0003601650.tif 000025
【図２２】
0003601650.tif 000026
【図２３】
0003601650.tif 000027
【図２４】
0003601650.tif 000028
【図２５】
0003601650.tif 000029
【図２６】
0003601650.tif 000030
【図２７】
0003601650.tif 000031
【図２８】
0003601650.tif 000032
【図２９】
0003601650.tif 000033
【図３０】
0003601650.tif 000034
【図３１】
0003601650.tif 000035
【図３２】
0003601650.tif 000036
【図３３】
0003601650.tif 000037
【図３４】
0003601650.tif 000038
【図３５】
0003601650.tif 000039
【図３６】
0003601650.tif 000040