(57)【要約】【課題】多様な形態の印刷文書からＸＭＬやＨＴＭＬ等でタグ付けされた構造化文書を高精度に生成すること。【解決手段】文章領域及び文章領域のレイアウト情報を抽出し、文章領域毎に文字行領域を抽出するレイアウト解析部１０と、文字行領域から文字パターンを抽出して文字コードへ変換する文字認識部１１と、文書論理要素を抽出するための情報と、文書論理要素の内容に関する情報とを有するデータベースを参照して、文章領域から文書論理要素を抽出する文書論理要素抽出部１３と、文書論理要素を読み順通りに並べる文書論理要素読み順決定部と、文書論理要素の種類の同一性と文書論理要素の階層を示す情報に基づいて、文書論理要素を階層的にグループ化する文書構造解析部１４と、グループ化された情報に基づいて文書論理要素と文字コードの論理的な関係を表す木構造を作成する木構造抽出部とを具備する。【選択図】    図１
2005043990.tif 000002
【特許請求の範囲】
【請求項１】
入力された文書画像から、文章が記載されている領域を示す文章領域を抽出すると共に、この文章領域の前記文書画像におけるレイアウトを示すレイアウト情報を抽出するレイアウト解析部と、
前記文章領域毎に、当該文章領域を構成する文字行領域を抽出する文字行領域抽出部と、
前記文字行領域から文字パターンを抽出して文字コードへ変換する文字認識部と、
前記文章領域内の文書を構成する文書論理要素を抽出するための情報と前記文書論理要素の内容に関する情報とを有し、所望の木構造を得るための構造化方法を記載したデータベースを示す第１の文書モデルを参照して、前記レイアウト解析部により抽出された文章領域から文書論理要素を抽出する文書論理要素抽出部と、
前記文書論理要素抽出部により抽出された前記文書論理要素を読み順通りに並べる文書論理要素読み順決定部と、
文書論理要素の種類の同一性と文書論理要素の階層とを示す情報を有し、文書論理要素を構造化するための第２の文書モデルに基づいて、前記文書論理要素読み順決定部によって読み順通りに並べ替えられた文書論理要素を階層的にグループ化する文書論理要素グループ化部と、
前記文書論理要素グループ化部でグループ化された情報に基づいて文書論理要素と文字コードの論理的な関係を表す木構造を作成する木構造作成部と
を具備することを特徴とする文書処理装置。
【請求項２】
前記文書論理要素を抽出する方法に関する文書モデルは、抽出対象としない、自動抽出する、文書論理要素の内容に関する文書モデルに基づいて抽出する、抽出したあと棄却する、ページ上の位置や他の論理要素との配置関係に基づいて抽出する、表を構成する表要素から文書論理要素を抽出することが定義されていることを特徴とする請求項１記載の文書処理装置。
【請求項３】
前記文書論理要素の内容に関する文書モデルは、文書論理要素の種類、文書論理要素の幾何情報、文書論理要素内に存在するキーワード情報、文書論理要素の先頭行のヘディング記述情報で構成されていることを特徴とする請求項１記載の文書処理装置。
【請求項４】
前記文書論理要素内に存在するキーワード情報は、キーワードを構成する文字列と、キーワードを含む文字行中におけるキーワードの配置箇所と、キーワードを含む文字行中におけるキーワードの占有率で構成されていることを特徴とする請求項３記載の文書処理装置。
【請求項５】
前記文書論理要素の先頭行のヘディング記述情報は、ヘディング情報を構成する文字種別の個数の並びにより表現された数列で構成されていることを特徴とする請求項３記載の文書処理装置。
【請求項６】
文書論理要素抽出部は、ヘディング情報を構成する文字種別の個数の並びにより表現された数列で構成されている前記文書論理要素の先頭行のヘディング記述情報と、前記文書論理要素の先頭行の文字コード情報から抽出された文字種別の個数の並びにより表現された数列とを比較することにより文書論理要素の認識を行なうことを特徴とする請求項１記載の文書処理装置。
【請求項７】
前記文書論理要素を構造化する方法に関する文書モデルは、箇条書きの構造化方法に関する情報、箇条書き内部に位置する図表の構造化方法に関する情報、表内部の章見出しや箇条書きの構造化方法に関する情報、表内部の論理要素の順序付け方法に関する情報、文書見出しの順序付け方法に関する情報で構成されていることを特徴とする請求項１記載の文書処理装置。
【請求項８】
入力された文書画像から、文章が記載されている領域を示す文章領域を抽出すると共に、この文章領域の前記文書画像におけるレイアウトを示すレイアウト情報を抽出するレイアウト解析工程と、
前記文章領域毎に、当該文章領域を構成する文字行領域を抽出する文字行領域抽出工程と、
前記文字行領域から文字パターンを抽出して文字コードへ変換する文字認識工程と、
前記文章領域内の文書を構成する文書論理要素を抽出するための情報と前記文書論理要素の内容に関する情報とを有し、所望の木構造を得るための構造化方法を記載したデータベースを示す第１の文書モデルを参照して、前記レイアウト解析工程において抽出された文章領域から文書論理要素を抽出する文書論理要素抽出工程と、
前記文書論理要素抽出工程において抽出された前記文書論理要素を読み順通りに並べる文書論理要素読み順決定工程と、
文書論理要素の種類の同一性と文書論理要素の階層とを示す情報を有し、文書論理要素を構造化するための第２の文書モデルに基づいて、前記文書論理要素読み順決定工程において読み順通りに並べ替えられた文書論理要素を階層的にグループ化する文書論理要素グループ化工程と、
前記文書論理要素グループ化工程でグループ化された情報に基づいて文書論理要素と文字コードの論理的な関係を表す木構造を作成する木構造作成工程と
を具備することを特徴とする文書処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書を処理する文書処理装置及び文書処理方法に関する。
【０００２】
【従来の技術】
新聞記事、雑誌、科学技術文献、書籍、オフィス文書、公文書などの印刷文書をスキャナ等の入力装置から文書画像としてコンピュータに取り込み、この取り込んだ画像情報から文字を認識しコード化することにより、印刷文書の内容を電子化・再利用したいという要求がある。
【０００３】
この場合、印刷文書をイメージスキャナで画像としてコンピュータに取り込み、この取り込んだ画像から「レイアウト構造」と「論理構造」を抽出・対応づけ、さらには文字認識処理を行い、読み順通りに出力するといった処理を行うことが一般的である。例えば、確率文法の枠組を用いて、複数ページに渡る章節構造とリスト構造を抽出する技術が知られている（例えば、非特許文献１参照）。
【０００４】
また、章見出し、パラグラフ、箇条書き、数式、脚注、ヘッダ、フッタなどの汎用的な文書論理要素を自動抽出し、これらに対して読み順を付与した後、文字認識結果を出力する技術が知られている（例えば、特許文献１参照）。
【０００５】
【非特許文献１】
建石：“確率文法を用いた文書論理構造の解釈法”、信学論Ｄ−ＩＩ，  Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，  Ｎｏ．５，  ｐｐ．６８７−６９７，  （１９９６−５）
【０００６】
【特許文献１】
特開平１１−２５００４１号公報
【０００７】
【発明が解決しようとする課題】
従来の技術では、印刷文書をイメージスキャナで画像としてコンピュータに取り込み、この取り込んだ画像から「レイアウト構造」と「論理構造」を抽出・対応づけ、さらには文字認識処理を行い、読み順通りに出力するといった処理が一般的である。しかし、いずれの従来の技術も特定のレイアウト条件下の印刷文書から特定の論理要素を抽出するといった程度にとどまり、多様な印刷文書全般にわたって詳細に解析して、ユーザが所望の論理情報を柔軟に抽出することは困難であった。特に箇条書きが階層的に記述されている文書において、その階層的な箇条書き構造を矛盾無く高精度に抽出し、この結果をＨＴＭＬやＸＭＬで記述された構造化文書に正しく変換することは困難であった。
【０００８】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、多様な形態の印刷文書からＸＭＬやＨＴＭＬ等でタグ付けされた構造化文書を高精度に生成することができる文書処理装置及び文書処理方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明は文書処理装置であって、入力された文書画像から、文章が記載されている領域を示す文章領域を抽出すると共に、この文章領域の前記文書画像におけるレイアウトを示すレイアウト情報を抽出するレイアウト解析部と、前記文章領域毎に、当該文章領域を構成する文字行領域を抽出する文字行領域抽出部と、前記文字行領域から文字パターンを抽出して文字コードへ変換する文字認識部と、前記文章領域内の文書を構成する文書論理要素を抽出するための情報と前記文書論理要素の内容に関する情報とを有し、所望の木構造を得るための構造化方法を記載したデータベースを示す第１の文書モデルを参照して、前記レイアウト解析部により抽出された文章領域から文書論理要素を抽出する文書論理要素抽出部と、前記文書論理要素抽出部により抽出された前記文書論理要素を読み順通りに並べる文書論理要素読み順決定部と、文書論理要素の種類の同一性と文書論理要素の階層とを示す情報を有し、文書論理要素を構造化するための第２の文書モデルに基づいて、前記文書論理要素読み順決定部によって読み順通りに並べ替えられた文書論理要素を階層的にグループ化する文書論理要素グループ化部と、前記文書論理要素グループ化部でグループ化された情報に基づいて文書論理要素と文字コードの論理的な関係を表す木構造を作成する木構造作成部とを具備する。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。本実施形態の文書処理装置は、スキャナ等から入力された複数枚の文書画像から情報を抽出・編集して、例えばＸＭＬ技術を用いてタグ付けされた構造化文書を生成する。まず、スキャナ等で構成される文書画像生成部において複数の紙文書を画像に変換して文書画像を生成する。
【００１１】
各画像はスキャナ等で２値化処理が行われて２値画像に変換される。また、スキャニング時に多値画像を生成したあとで、文献「鈴木、窪田：“補間と凸判定に基づくストローク抽出を用いた低解像度文書画像の２値化”、電子情報通信学会、パターン認識・理解研究会、技術報告、ＰＲＭＵ９９−２３１、ｐｐ１−８、２０００」に基づいた公知の技術により多値画像から２値画像に変換してもよい。当該２値画像はさらに特開平０５−１７４１８３号公報「文書画像傾き検出方式」を用いて画像の傾きが補正された２値画像に変換しても良い。以下、これら処理により傾きが補正された２値画像を入力画像と呼ぶことにする。複数の入力画像は、順次、後述する文書処理装置に入力される。
【００１２】
図１は、本発明に係る文書処理装置の構成を示すブロック図である。文書処理装置は、レイアウト解析部１０と、文字認識部１１と、文書論理要素抽出部１３と、文書モデルデータベース１６と、文書論理要素抽出結果編集部１２と、文書構造解析部１４と、データフォーマット変換部１５とから構成される。
【００１３】
このような構成において、まず、入力画像は、レイアウト解析部１０へ入力される。レイアウト解析処理部１０は、外部から入力された入力画像をレイアウト解析し、文章領域、表領域、図領域、写真／絵領域などの性質の異なる部分領域をレイアウト要素群として抽出する。この抽出された各領域は、当該領域を外接する矩形により表現することが可能である。例えば文章領域は、図２に示すように、文章領域ＴＢを外接する矩形５０により表現される。この場合、外接矩形５０は図３に示すように、外接矩形５０の左上端の位置座標（ｘ１，ｙ１）と右下端の位置座標（ｘ２，ｙ２）により表現することができる。
【００１４】
レイアウト解析では、縦書きと横書きの文章領域は異なる領域として分離されて出力される。また一つの文章領域はカラムをまたがって抽出されることがない。ただし、レイアウト解析では、段落（パラグラフ）、箇条書き（リスト）、数式、章見出しなどの文書論理要素に相当する領域が抽出されていなくても良い。
【００１５】
各々の文章領域ＴＢ（あるいは表領域）では図２に示すように文字行領域Ｓｔｒが順序付けられて抽出され（Ｓｔｒ１，Ｓｔｒ２，Ｓｔｒ３，Ｓｔｒ４，Ｓｔｒ５）、各文字行領域Ｓｔｒでは、図２に示すように文字領域Ｃｈが同様に順序付けられて抽出される（Ｃｈ１，Ｃｈ２，Ｃｈ３，Ｃｈ４，Ｃｈ５）。
【００１６】
文章領域ＴＢ（あるいは表領域）と文字行領域Ｓｔｒと文字領域Ｃｈとは、それぞれ階層的に、例えば図４のような木構造により記述（表現）することができる。
【００１７】
レイアウト解析部１０は、例えば特開平９−１６７２３３号公報「画像処理方法および画像処理装置」に開示された構成により実現できる。この場合、レイアウト解析部１０で文字認識処理が行われて、文章領域の各文字がコード化される。あるいは、レイアウト解析の直後に文字認識処理が行われて文章領域ＴＢの各文字がコード化されるようにしてもよい。
【００１８】
文字認識部１１は、例えば、「有吉：“動的な仮説生成・検証による日本語印刷文書からの文字の切り出し”，電子情報通信学会技術報告，ＰＲＵ９３−４７，  ｐｐ．３３−４０，  １９９３．」に開示された構成により文字の認識を実現する。この場合、レイアウト解析で得られた文字行領域Ｓｔｒから個々の文字領域Ｃｈを切り出したあと、文字領域Ｃｈ内の文字パターンから文字コード情報に変換する。文字認識部１１は、この文字コードへ変換した文字認識結果を読み順通りに並べた状態で文書論理要素抽出部１３へ出力する。なお、この読み順通りに並んだ状態とは、横書き文字行の場合には文字行中において文字コードが左から右に並んでいる状態を意味し、縦書き文字行の場合には文字行中において文字コードが上から下に並んでいる状態を意味する。
【００１９】
更に文字認識部１１は、レイアウト解析部１０でレイアウト解析されたレイアウト解析結果も文書論理要素抽出部１３へ出力する。
【００２０】
文書論理要素抽出部１３は、予め作成されて文書モデルデータベース１６に格納された文書モデル（詳細は後述する）を、文字認識部１１から入力されたレイアウト解析結果と文字認識結果に適用することにより、タイトル、著者、アブストラクト、ヘッダ、フッタ、章見出し、パラグラフ、箇条書き、表の要素・列、図表キャプションなどの文書論理要素を抽出する。ここではこれら抽出された文書論理要素を文書論理要素抽出結果と記す。
【００２１】
文書論理要素抽出結果編集部１２は、文書論理要素抽出部１３で抽出された文書論理要素抽出結果に対して、オペレータが要素名や階層情報について変更や付与を行なうための部分である。
【００２２】
文書構造解析部１４は、文書論理要素に対して読み順を付与したあと文書論理要素を読み順通りに並べ替え、予め作成してある文書モデルを文書モデルデータベース１６から参照して各文書論理要素について階層的なグループ化を行い、文書構造を木構造として抽出する。上記読み順の決定方法は例えば特開平１１−２５００４１号公報「文書処理装置および文書処理方法」に開示された構成により実現することができる。
【００２３】
データフォーマット変換部１５は、木構造として記述されている文書論理要素と文字認識結果をＸＭＬやＨＴＭＬなどで記述した構造化文書に変換し、最終的な出力を得る。
【００２４】
以下、文書モデルデータベース１６について詳細に説明する。
【００２５】
従来のＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）では、文字認識結果を読み順通りに出力することにより文書画像からプレーンテキストを生成するものであった。しかし、実際の文書では章、節、箇条書きなどの階層的な構造を有している場合があり、ＸＭＬ／ＨＴＭＬ文書ではこのような文書を階層的な木構造で表現する。したがって、文書画像をＸＭＬ／ＨＴＭＬ文書に変換する場合には、上述した文書論理要素の集合からなんらかの階層構造を抽出する必要がある。この際、構造化方法が異なると処理結果の木構造が大幅に異なってしまうことがあり、オペレータ所望の木構造を得られない場合には文書変換後に大幅な修正を必要とするという問題が生じる。
【００２６】
そこで本実施形態では、オペレータが予め構造化方法を文書モデルという形で文書モデルデータベース１６に指定しておき、システムがこの文書モデルを解釈してオペレータ所望の木構造を生成した後、テキスト化した文書を構造化文書に変換する。
【００２７】
このような文書モデルを用いることにより、文書画像において文書論理要素を高精度に抽出すると共に文書の階層的な構造を高精度に抽出することができる。この結果、印刷文書から効率良く高精度にＸＭＬ／ＨＴＭＬタグ付き文書を生成することが可能となる。
【００２８】
図５〜図７は、オペレータが構造化方法を指定するときのユーザインタフェースの具体例を示す図である。
【００２９】
図５は、文書要素の関する構造化方法の知識・モデルを定義するためのユーザインタフェースである（モデル内容の詳細は後述する）。
【００３０】
図６は、論理要素の抽出方法の知識・モデルを定義するためのユーザインタフェースである（モデル内容の詳細は後述する）。
【００３１】
図７は、論理要素の内容に関する知識・モデルを定義するためのユーザインタフェースである（モデル内容の詳細は後述する）。
【００３２】
これらのユーザインタフェースを用いて定義された内容については、図１の文書モデルデータベース１６に格納され、文書入力時に適宜用いられるものとする。
【００３３】
使用される文書モデルは、
（１）文書論理要素の内容に関する知識
（２）文書論理要素の抽出方法に関する知識
（３）章見出し構造や箇条書き構造の構造化方法に関する知識
などで構成される。
【００３４】
（１）に記載の文書論理要素の内容に関する知識は、図５に示すユーザインタフェースを用いて定義される。まず、論理要素名として「ヘッダ」，「フッタ」，「文書見出し」，「章見出し１」，「章見出し２」，「章見出し３」，「章見出し４」，「章見出し５」，「章見出し６」，「章見出し７」，「章見出し８」，「章見出し９」，「パラグラフ」，「順序付き箇条書き」，「順序なし箇条書き」，「定義付き箇条書き」，「図キャプション」，「図脚注」，「表キャプション」，「表脚注」，「数式」，「脚注」のいずれかを選択する。
【００３５】
この図６〜図８のユーザインタフェースでの選択は、ユーザが各論理要素名の先頭にある白丸をマウス等のポインティングデバイスを用いてクリックし、黒丸に変更することにより行なわれる。この選択項目の先頭に白丸がある場合には当該項目は選択されず、先頭に黒丸がある場合には当該項目が選択されるものとする。
【００３６】
「階層レベル」において０以上の任意の整数を用いて階層情報を設定する。
【００３７】
「言語」において、「日本語」か「英語」のいずれかを選択する。
【００３８】
「文字行方向」において、「横書き」か「縦書き」のいずれかを選択する。
【００３９】
「文字サイズ」，「ブロック高」，「ブロック長」においてサイズ情報の上限と下限をｍｍ単位で設定する。
【００４０】
「文字行数」と「文字数」において上限と下限を設定する。
【００４１】
「字下げ幅」において字下げ量をｍｍ単位で設定する。
【００４２】
「ヘディング情報」においてヘディング情報として判断するための情報を設定する。ヘディング情報は、章見出しや箇条書きの先頭に付与される「第１編」，「第１章」，「第１条」，「１．」，「（１）」，「▲１▼」，「Ｉ」，「（イ）」，「（ａ）」，「Ａ．」，「一」などの番号や「・」，「○」，「※」，「＊」などの記号による論理要素の識別情報のことである。ここでは、これらのヘディング記述を「数列による定義」と「キーワード情報による定義」の２つの手段で表現する。
【００４３】
「ヘディング情報」の「数列による定義」ではヘディング記述を「数字」，「漢数字」，「ローマ数字」，「丸数字」，「アルファベット」，「カナ」，「ギリシャ文字」，「記号」，「ピリオド」，「ハイフン」，「開括弧」，「閉括弧」，「スペース」の１３種類の情報で記述する。このとき、各情報に“０（無し）”か“１以上の整数”のいずれかを割り当てることにより１３個の数字で構成されるとともに上述した順に並べられた数列でヘディング記述を表現する。
【００４４】
例えば、「（１）」のヘディング記述は、「数字」に１と「開括弧」に１と「閉括弧」に１をそれぞれ割り当て、他の情報に０を割り当てることにより、「１０００００００００１１０」と表現する。また、「１．２．１  」のヘディング記述については、「数字」に３とピリオドに２とスペースに１をそれぞれ割り当て、他の情報に０を割り当てることにより、「３０００００００２０００１」と表現する。
【００４５】
このように本発明では、箇条書きや章見出しのヘディング記述（例えば、「１．はじめに」における「１．」の部分を章見出しのヘディングとする。）を数字、漢数字、ローマ数字、丸数字、アルファベット、カナ、ギリシャ文字、記号、ピリオド、ハイフン、開括弧、兵括弧、スペースの１３種類の文字種の組み合わせで表現するものとする。この場合、各文字種に対して、「０（無しを意味する）」か「１以上の整数（文字種の個数を意味する）」のどちらかの数字を割り当てることにより、ヘディング記述を１３個の数値情報の組み合わせで表現するものとする。
【００４６】
更に、数値情報を、数字、漢数字、ローマ数字、丸数字、アルファベット、カナ、ギリシャ文字、記号、ピリオド、ハイフン、開括弧、兵括弧、スペースの順に並べることにより、１３個の数値情報で構成される数列情報でヘディング記述を表現する。例えば、「１．」のヘディング記述は、「数字」に１、「漢数字」に０、「ローマ数字」に０、「丸数字」に０、「アルファベット」に０、「カナ」に０、「ギリシャ文字」に０、「記号」に０、「ピリオド」に１、「ハイフン」に０、「開括弧」に０、「閉括弧」に０、「スペース」に０を割り当て、これらを並べることにより１０００００００１００００と表現することができる。
【００４７】
本発明では、このような方法を用いることにより入力文書中の章見出しや箇条書きのヘディング記述を特定するものとする。本発明によれば、「１．はじめに」と「２．原理」を同様に「１０００００００１００００」と表現することができるので章見出しや箇条書きのヘディング記述の多様性に対応することが可能となる。
【００４８】
このような定義方法を導入することにより、文書モデルを定義する際に出現可能な箇条書きのヘディング記述をすべて網羅する必要が無くなる。
【００４９】
「ヘディング情報」の「キーワード情報による定義」では、上述したような数列で表現できないヘディング記述をそのまま文字列で表現するものである。しかし、この際に「第１条」，「第２条」，・・・，「第９９条」のようにすべてのヘディング記述を網羅すると煩雑になり、さらにはキーワード照合処理に多くの時間を要することから、「第  条」のように数字が変化する部分を空白などで簡略化して表現することを可能とする。
【００５０】
また、開括弧“［”と閉括弧“］”の間に任意の文字列を挿入した形式の章見出しや定義付き箇条書きもこのような省略を許容したキーワード定義を採用することにより柔軟に特定することが可能となる。
【００５１】
キーワード照合を実施した場合には、処理対象の文字行中におけるキーワードの照合状態に関する定義をすることができる。この場合、「キーワード照合箇所」として文字行の先頭箇所からキーワード照合の結果の先頭位置までの距離をｍｍ単位で設定することができ、この値を超えたキーワード照合結果を無効と見なすことができる。また、文字行中におけるキーワードの占有率を設定することができ、その値を下回る占有率を示すキーワード照合結果を無効と見なすことができる。さらに、「キーワード照合箇所」と「キーワード占有率」の条件を組み合わせて適用することができ、両方の条件を満たす必要がある場合には、「キーワード照合条件」において「ＡＮＤ判定」を選択し、どちらか一方の条件を満たす場合には、「ＯＲ判定」を選択する。
【００５２】
（２）に記載の文書論理要素の抽出方法に関する知識は、図６に示したユーザインタフェースを用いて定義される。図６のインタフェースでは「ヘッダ」，「フッタ」，「文書見出し」，「章見出し」，「パラグラフ」，「順序付き箇条書き」，「順序なし箇条書き」，「定義付き箇条書き」，「図」，「図キャプション」，「図脚注」，「表」，「表キャプション」，「表脚注」，「数式」，「脚注」などの各論理要素において、抽出方法を指定することができる。
【００５３】
以下では、「抽出しない」が選択された場合には、当該論理要素はパラグラフとして抽出されるものとする。また、「抽出したあと棄却する」が選択された場合には、処理時に一旦抽出されるものの、最終的には木構造に出力されないものとする。さらに、「モデルに基づいて抽出する」が選択された場合には、図５に示したユーザインタフェースを用いて定義された内容に基づいて論理要素が抽出されるものとする。
【００５４】
論理要素「ヘッダ」では、「抽出しない」，「ページ上部で抽出して棄却する」，「ページ右側で抽出して棄却する」，「ページ左側で抽出して棄却する」のいずれかを選択することができる。
【００５５】
論理要素「フッタ」では、「抽出しない」，「ページ下部で抽出して棄却する」，「ページ右側で抽出して棄却する」，「ページ左側で抽出して棄却する」のいずれかを選択することができる。
【００５６】
論理要素「文書見出し」では、「抽出しない」，「自動抽出する」，「抽出したあと棄却する」，「モデルに基づいて抽出する」のいずれかを選択することができる。
【００５７】
論理要素「章節見出し」では、「抽出しない」，「自動抽出する」，「抽出したあと棄却する」，「モデルに基づいて抽出する」のいずれかを選択することができる。
【００５８】
論理要素「パラグラフ」では、「自動抽出する」，「モデルに基づいて抽出する」のいずれかを選択することができる。
【００５９】
論理要素「順序付き箇条書き」では、「抽出しない」，「自動抽出する」，「抽出したあと棄却する」，「モデルに基づいて抽出する」のいずれかを選択することができる。
【００６０】
論理要素「順序なし箇条書き」では、「抽出しない」，「自動抽出する」，「抽出したあと棄却する」，「モデルに基づいて抽出する」のいずれかを選択することができる。
【００６１】
論理要素「定義付き箇条書き」では、「抽出しない」，「自動抽出する」，「抽出したあと棄却する」，「モデルに基づいて抽出する」のいずれかを選択することができる。
【００６２】
論理要素「図」では、「抽出しない」，「自動抽出する」，「抽出したあと棄却する」のいずれかを選択することができる。
【００６３】
論理要素「図キャプション」では、「抽出しない」，「抽出したあと棄却する」，「図の上部で抽出する」，「図の下部で抽出する」，「図の右側で抽出する」，「図の左側で抽出する」のいずれかを選択することができる。
【００６４】
論理要素「図脚注」では、「抽出しない」，「抽出したあと棄却する」，「図の上部で抽出する」，「図の下部で抽出する」，「図の右側で抽出する」，「図の左側で抽出する」のいずれかを選択することができる。
【００６５】
論理要素「表」では、「抽出しない」，「自動抽出する」，「抽出したあと棄却する」，「横書きテキストとして抽出する」，「縦書き／横書き混在テキストとして抽出」，「格子状の表以外は横書きテキストとして抽出する」，「格子状の表以外は縦書きテキストとして抽出する」，「格子状の表以外は縦書き／横書き混在テキストとして抽出する」のいずれかを選択することができる。この場合、格子状の表とは、表を構成するすべての水平件線が表の外枠の横幅と等しく、表を構成するすべての垂直件線が表の外枠の縦幅と等しいという性質を持っている表を意味するものとする。このような表は「表−列−表の要素」という階層構造に従って出力するものとする。このとき、列とは表の要素の並びによるグループを意味するものとする。
【００６６】
論理要素「表キャプション」では、「抽出しない」，「抽出したあと棄却する」，「表の上部で抽出する」，「表の下部で抽出する」，「表の右側で抽出する」，「表の左側で抽出する」のいずれかを選択することができる。
【００６７】
論理要素表「脚注」では、「抽出しない」，「抽出したあと棄却する」，「表の上部で抽出する」，「表の下部で抽出する」，「表の右側で抽出する」，「表の左側で抽出する」のいずれかを選択することができる。
【００６８】
論理要素「数式」では、「抽出しない」，「図として抽出する」，「抽出したあと棄却する」のいずれかを選択することができる。
【００６９】
論理要素「脚注」では、「抽出しない」，「自動抽出する」，「抽出したあと棄却する」のいずれかを選択することができる。
【００７０】
（３）に記載の論理要素の構造化に関する知識は、図７のユーザインタフェースを用いて定義される。
【００７１】
「文書構造化方法」に関して、「実施する」か「実施しない」のいずれかを選択することができる。このとき「実施しない」が選択されると他のすべての定義が無効となり、論理要素が読み順どおりにフラットに出力されるものとする。これとは異なり、「実施する」が選択された場合には、他の定義に基づいて論理要素が構造化され木構造として出力されるものとする。
【００７２】
「箇条書きの構造化」に関して、「構造化しない」，「字下げ情報に基づいて構造化する」，「ヘディング情報に基づいて構造化する」を選択することができる。字下げ情報に基づいて箇条書きが構造化される場合には、字下げを判定するための字下げ量をｍｍ単位で設定することを可能としている。箇条書き構造化の動作については後述する。
【００７３】
「箇条書き内部の図の構造化」に関しては、「箇条書き構造内に残す」か「箇条書きの外に出す」のいずれかを選択することを可能としている。図を箇条書き内に残す場合には、文書中において隣接している箇条書きと同様に構造化されるものとする。図を箇条書き構造の外に出す場合には、文書中で図を含んでいる箇条書き構造の次に、当該箇条書き構造と同一の階層で出力するものとする。
【００７４】
「箇条書き内部の表の構造化」に関しては、同様に「箇条書き構造内に残す」か「箇条書きの外に出す」のいずれかを選択することを可能としている。表を箇条書き内に残す場合には、文書中において隣接している箇条書きと同様に構造化されるものとする。表を箇条書き構造の外に出す場合には、文書中で図を含んでいる箇条書き構造の次に、当該箇条書き構造と同一の階層で出力するものとする。
【００７５】
表内部の論理要素の抽出に関しては、「表内部の章見出しの抽出」と「表内部の箇条書きの抽出」について「抽出しない」か「抽出する」のいずれかを選択することを可能としている。このとき、「抽出しない」が選択された場合には、それぞれの論理要素をパラグラフとして出力するものとする。
【００７６】
「表内部の論理要素の読み順付与」に関しては「横組みとして順序付けする」か「縦組みとして順序付けする」のいずれかを選択することができる。横組みとして順序付けする場合には、左上端の論理要素から水平方向に順序付けしていくものとする。縦組みとして順序付けする場合には、右上端の論理要素から垂直方向に順序付けしていくものとする。
【００７７】
「文書見出しの順序付け」に関しては、「文書見出しを最初に読む」ようにするか、「文書見出しに対して自動的に順序付けする」ようにする。
【００７８】
文書論理要素抽出部１３では、上述した文書モデルデータベース１６を参照して以下の処理を行う。
【００７９】
まず行単位に文字認識結果を保持しているレイアウト解析結果を文字行ごとに分解する。そして各文字行に対して、「通常行」，「字下げ行」，「センタリング行」，「ハードリターン行」のいずれかの情報を付与する。このときテキストブロック境界と文字行先頭位置の距離Ｄ１とテキストブロック境界と文字行末尾位置の距離Ｄ２に対して、以下の条件式を適用することにより文字行を上述した４つのカテゴリに分類する。
【００８０】
条件式：
Ｄ１≦ＴＨ１かつＤ２≦ＴＨ２の場合、当該文字行を通常行とする。
【００８１】
Ｄ１＞ＴＨ１かつＤ２≦ＴＨ２の場合、当該文字行を字下げ行とする。
【００８２】
Ｄ１＞ＴＨ１かつＤ２＞ＴＨ２の場合、当該文字行をセンタリング行とする。
【００８３】
Ｄ１≦ＴＨ１かつＤ２＞ＴＨ２の場合、当該文字行をハードリターン行とする。
【００８４】
文書モデルデータベース１６にて、章節見出し抽出を実施する（図６に示す「章節見出し」が選択され、更にこの「章節見出し」の中で「自動抽出する」または「モデルに基づいて抽出する」が選択されている）または箇条書き照合を実施する（図６に示す「順序付き箇条書き」が選択され、更にこの「順序付き箇条書き」の中で「自動抽出する」または「モデルに基づいて抽出する」が選択されている、或いは「順序なし箇条書き」が選択され、更に「順序なし箇条書き」の中で「自動抽出する」または「モデルに基づいて抽出する」が選択されている）ことが指定されている場合には、各行に対して「ヘディング記述」の検出を行なう。この際、文書モデルにおいて文書論理要素のヘディング記述が数列で表現されている場合には、各文字行において先頭からいくつかの文字を同様に数列で表現し、この数列と文書モデルで定義された数列の一致性を判定することによりヘディング記述を検出する。
【００８５】
文書モデルにおいて文書論理要素のヘディング記述がキーワードで表現されている場合には、各文字行に対してキーワード照合を実施することによりヘディング記述を検出する。この際、上述したようにキーワードが簡略化して表現されている場合には、簡略化された箇所では照合を行なわず、この前後でキーワード照合を行なうことにより所望の文書論理要素を抽出する。
【００８６】
図８は、文書論理要素抽出結果の一例を示す図である。
【００８７】
ヘディング記述を有する文字行とこのあとに続く文字行が図８に示す配置関係にある場合にはこれらを統合することで章見出しもしくは箇条書きの文書論理要素を抽出する。すなわち、図８に示すように、３行の文字行６０〜６２のうち、先頭行６０が通常行で、２行目以降（６１，６２）に字下げを伴った字下げ行かセンタリング行が連続しており、各文字行６０〜６２の行長が前の行の行長と同じか短い場合にはこれらを統合して文書論理要素６３を抽出する。
【００８８】
章見出しについしては、「１．」を見出し１、「１．１」を見出し２、「１．１．１」を見出し３とするように階層の異なる章見出しを区別可能とする要素名を付与する。
【００８９】
箇条書きについては、文書モデルにおいてヘディング記述に対応して階層情報が定義されている場合には、論理要素の抽出と同時に階層情報の付与を行なう。
【００９０】
文書中に表が混在している場合に、文書モデルにおいて表を自動抽出すると指定されている場合（図６に示す「図」の中で「自動抽出する」が選択されている）には、表から要素と要素の列を抽出して、「表−列−表の要素」の階層構造を抽出する。
【００９１】
文書モデルにおいて「表をテキスト領域として抽出する」と指定されている場合（図６に示す「表」の中で、「自動抽出する」或いはテキストとして抽出する下側の５つのいずれかが選択されている）、表の各セルにおいて上述した方法によりテキスト領域を抽出し、同様にテキスト領域を文字行単位に分解したあとで各文字行を４つのカテゴリに分類するとともに、上述したヘディング記述の検出と文字行の統合を実施することにより文書論理要素を抽出する。
【００９２】
この結果、表から通常のテキスト領域と同様の論理要素を抽出することが可能となる。この際、図７に示す「表内部の章見出し抽出」の中で「抽出しない」が選択されている場合には、表外の章見出しと同様のヘディング記述を持つ表内の文書論理要素を箇条書きやパラグラフとして抽出する。また、図７に示す「表内部の箇条書きを抽出」の中で「抽出しない」が選択されている場合には、表外の箇条書きと同様のヘディング記述をもつ表内の論理要素をパラグラフとして抽出する。
【００９３】
上述した処理で抽出された文書論理要素は図示しないディスプレイなどの表示装置に出力され、文書論理要素抽出結果編集部１２で処理結果の変更もしくは処理結果への情報付与が行なわれる。この文書論理要素抽出結果編集部１２では以後の文書構造解析部１４における処理で高精度な処理結果を得るために、論理要素名や階層情報が誤っている場合にはこれらを変更する。また階層情報が未検出の場合には、この論理要素に対して階層情報を付与する。このとき、同一のヘディング記述や字下げ量を有する論理要素に対して、異なる階層情報を与えることができ、この結果に基づいて文書構造解析部１４で木構造抽出が行われる。
【００９４】
文書構造解析部１４では文書モデルデータベース１６を参照して以下の処理を行う。
【００９５】
まず文書論理要素に対して読み順を付与すると共に文書論理要素を読み順に応じて並べ替える。さらに読み順通りに並べ替えた文書論理要素に対してグループ化処理を行なう。このとき、章グループと箇条書きグループを抽出すると共にグループ間の包含関係を抽出することにより文書の階層構造を抽出する。
【００９６】
文書論理要素のグループを抽出する際には、章グループのような大域的なグループの抽出を優先的に行なう。章グループの抽出では、同一の要素名を持つ章見出しの間に存在する論理要素をグループ化する。
【００９７】
箇条書きグループの抽出では、読み順の昇順に下位のグループ化処理を実施する。このとき、文書モデルにおいて「字下げに基づいて構造化する」と定義されている場合には、文書論理要素の先頭位置（横書き（縦書き）要素の場合はテキストブロックの左端（上端））の配置関係に基づいて章グループ内部でグループ化を行なう。例えば、ある箇条書きの論理要素に続く論理要素の先頭位置がほぼ同じかあるいは字下げされている場合には、これらを同一のグループに所属すると見なしてグループ化を行なう。このグループ化処理は、グループの先頭要素の先頭位置座標値よる小さい先頭位置座標値を持つ論理要素が出現した時点、あるいは浅い階層情報を有する論理要素が出現した時点で終了する。
【００９８】
各グループにおいて、前に位置する論理要素と比較して先頭位置が閾値ＴＨ３以上字下げされている論理要素が出現するごとに同様なグループ化処理を再帰的に実施することにより階層的なグループ化の抽出を実現することが可能となる。前述した論理要素抽出の際にモデル定義に基づいて階層情報が付与されており、隣接する論理要素より深い階層であることを意味する階層情報が与えられている場合には、グループ内で字下げ位置に関わらず下位グループの検出を行なう。
【００９９】
文書モデルにおいて「ヘディング記述に基づいて構造化する」と指定されている場合（図７の「箇条書き構造化」の中で「ヘディング記述に基づいて構造化する」が選択されている）には、各章グループの内部において上述した方法で検出されたヘディング記述の一致性に基づいて箇条書きグループの抽出を行う。
【０１００】
まず、章グループの中で最初に出現する箇条書きからこの章グループの最後の要素をまとめてグループとして抽出する。次に、この箇条書きグループの中で、先頭要素とは異なるヘディング記述を有する箇条書きが出現した場合には、先頭要素と同じヘディング記述を有する箇条書きが出現するまでグループ化処理を行なうことにより当該グループの下位となる箇条書きグループを検出する。このような処理を再帰的に実施することにより階層的な箇条書きグループを検出することが可能となる。
【０１０１】
このとき、上述しように論理要素抽出の際にモデル定義に基づいて階層情報が付与されている場合には、ヘディング記述が同一でも階層が異なれば下位のグループの抽出を実施する。これとは反対に、ヘディング記述が異なっていても階層情報が同一であれば同一のグループに属するものとしてグループ化処理を実施する。
【０１０２】
文書モデルにおいて「図表を箇条書きの外に出力する」が指定されている場合（図７の「箇条書き内部の図の構造化」の中で「箇条書き構造の外に出す」が選択されている、或いは図７の「箇条書き内部の表の構造化」の中で「箇条書き構造の外に出す」が選択されている）、箇条書きグループ内のすべての図／表は読み順を保持したまま最上位の箇条書きグループの次に同一の階層情報を与えられた形で出力される。
【０１０３】
文書構造解析部１４では、以上のような階層的なグループ化処理で得られた結果を木構造に変換する。文書モデルにおいて「構造化しない」が指定されていた場合（図７の「文書構造化」の中で「実施しない」が選択されている）、章見出しや箇条書きのグループ化処理が実施されないのでフラットな木構造が得られる。
【０１０４】
文書モデルにおいて「字下げに基づいて構造化する」か「ヘディング記述に基づいて構造化する」が指定されている場合（図７の「箇条書き構造化」の中で「字下げ情報に基づいて構造化する」または「ヘディング記述に基づいて構造化する」が選択されている）、他の文書モデルのパラメータに応じて様々な木構造が得られる。
【０１０５】
以下、上記した実施形態を具体例を用いてさらに詳細に説明する。
【０１０６】
図９は、１ページの印刷文書を文書画像に変換した例である。この場合、論理要素Ｃ〜Ｍ，Ｎ１〜Ｎ５については表の構成要素と見なすことができるが、ここではそれぞれを表の要素として出力せずに図１０に示す論理構造を構成する論理要素として出力する場合を例として考える。また、論理要素Ａを「見出し１」、論理要素Ｂを「見出し２」、論理要素Ｅと論理要素Ｉを「見出し３」、論理要素Ｆ，Ｇ，Ｈ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ１〜Ｎ５を「箇条書き」と見なす。また、論理要素ＣとＤを不要論理要素として最終結果には出力しない。
【０１０７】
まず、レイアウト解析部１０でのレイアウト解析処理により図１１に示すレイアウトの解析結果が得られる。次に、文書論理要素抽出部１３での文書論理要素抽出処理により、まず、図１２に示す文字行に分解され、次に文字行の判定とヘディング記述の同定によって図１３に示す論理要素が抽出される。
【０１０８】
例えば、文書モデル１６に格納された文書モデルにおいて、「見出し１」の論理要素のヘディング記述として「第  章」というキーワードが定義されていれば、論理要素Ａは「見出し１」と識別される。同様に、文書モデルにおいて「見出し２」の論理要素のヘディング記述として「第  節」というキーワードが定義されていれば、論理要素Ｂは「見出し２」と識別される。
【０１０９】
さらに、文書モデルにおいて「箇条書き」の論理要素のヘディング記述として「１０００００００１００００」，「１０００００００００１１０」がそれぞれ定義されていれば、論理要素Ｆ，Ｇ，Ｈ，Ｊ，Ｋ，Ｌ，Ｎ１〜Ｎ５は「箇条書き」と識別される。この場合、論理要素Ｅ，Ｉの「見出し２」と論理要素Ｋ，Ｌの「箇条書き」は同じヘディング記述を有するので、従来の技術ではこれらを異なる論理要素として区別することは難しかった。
【０１１０】
しかし、論理要素ＥとＩは、論理要素ＫとＬよりもブロック幅が小さいので、本実施形態ではブロック幅とヘディング記述を組み合わせたモデル定義を行なうことにより、これらを異なる論理要素に判別することが可能である。
【０１１１】
文書モデルにおいて、「１０００００００１００００」のヘディング記述を有し、文字行の高さがαｍｍ以上の箇条書きの階層レベルを１、「１０００００００００１１０」のヘディング記述を有する箇条書きの階層レベルを２、「１０００００００１００００」のヘディング記述を有し、文字行の高さがβｍｍ以下の箇条書きの階層レベルを３とそれぞれ定義されていれば、論理要素Ｆ，Ｇ，Ｈは階層レベル１の順序付き箇条書き７０、論理要素Ｊ，Ｋ，Ｌは階層レベル２の順序付き箇条書き７１、論理要素Ｎ１〜Ｎ５は階層レベル３の順序付き箇条書き７２と識別することができる。
【０１１２】
文書構造解析部１４では、まず、文書論理要素に読み順を付与したあと文書論理要素を図１４に示す通り読み順に応じて並べ替える。この結果、論理要素Ａ，Ｂ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５の順に整列することになる。
【０１１３】
次に、グループ化処理を行うことにより論理要素の階層的なグループを検出する。図１４の例では、「見出し１」のグループＡ，Ｂ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５がまず検出される。次いで、「見出し１」グループの中から「見出し２」のグループＢ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５と、「見出し３」のグループＥ，Ｆ，Ｇ，ＨおよびＩ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５が検出される。
【０１１４】
そして、ヘディング情報の同一性と階層情報とを手がかりとして、「順序付き箇条書き」グループＦ，Ｇ，Ｈ、Ｊ，Ｋ，Ｌ，Ｍ，Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５、Ｋ，Ｌ，Ｍ，Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５、Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５がそれぞれの「見出し３」のグループから階層的に検出される。
【０１１５】
このようにして得られたグループをグループ間の包含関係にもとづいて、図１５に示す木構造に変換する。
【０１１６】
以上、上記した実施形態によれば、複数ページで構成される多様な印刷文書から変換された文書画像から、文書見出し、著者、アブストラクト、日付、章見出し、パラグラフ、箇条書き、脚注、キャプション、数式、ヘッダ、フッタなどの文書論理要素を自動的に抽出した後、文書論理要素間の階層構造を高精度に抽出して文書画像を文書論理要素の木構造で表現するようにしたので、文書画像からＸＭＬやＨＴＭＬ等でタグ付けされた構造化文書を高精度に生成することができ、コンピュータシステムへの自動入力が可能になる。
【０１１７】
また、多段の階層構造を持つ複雑な箇条書き構造をオペレータの意図どおりの木構造で表現することができるので、構造化文書の煩雑な編集作業を大幅に削減することが可能となり、大量文書の電子化におけるオペレータの編集作業を大幅に軽減することができる。
【０１１８】
（変形例１）
本発明によれば、図９に示す印刷文書をさらに別の論理構造を有するＸＭＬ文書へ変換することが可能となる。
【０１１９】
例えば図９に示す論理要素Ａ，Ｂ，Ｅ，Ｉをそれぞれ箇条書きと見なす場合には以下のようなモデル定義を持つ文書モデルデータベース１６を作成し、これに基づいた構造化処理を実施することにより、図１６に示す木構造を抽出したあと図１８に示すＸＭＬ文書に変換することが可能となる。
【０１２０】
文書モデルの定義の例としては例えば次の通りとする。
【０１２１】
「第１章」「第２章」「第３章」・・・・のヘディング記述を有する論理要素を箇条書きとみなし、この階層情報をレベル１とする。
【０１２２】
「第１節」「第２節」「第３節」・・・・のヘディング記述を有する論理要素を箇条書きとみなし、この階層情報をレベル２とする。
【０１２３】
「（１）」「（２）」「（３）」・・・・のヘディング記述を有する論理要素を箇条書きとみなし、文字サイズ（文字行の高さ）がγｍｍ未満の場合には階層情報をレベル３とし、文字行の高さがλｍｍ以上の場合には階層情報をレベル５とする。
【０１２４】
「１．」「２．」「３．」・・・・のヘディング記述を有する論理要素を箇条書きとみなし、文字行の高さがαｍｍ以上の場合には階層情報をレベル４とし、文字行の高さがβｍｍ以下の場合には階層情報をレベル６とする。
【０１２５】
以上の通りに文書モデルが定義されている場合、前述したようにレベル１の箇条書きのグループ化処理、レベル２の箇条書きのグループ化処理、レベル３の箇条書きのグループ化処理、レベル４の箇条書きのグループ化処理、レベル５の箇条書きのグループ化処理、レベル６の箇条書きのグループ化処理が順次階層的に行われることにより図１７に示す階層的グループを抽出することができる。
【０１２６】
この後、文書構造解析部１４により図１６に示す木構造が抽出され、さらにデータフォーマット変換部１５により図１８に示す当該木構造もつＸＭＬ文書に変換される。
【０１２７】
（変形例２）
また、図９に示す印刷文書において、論理要素Ａをレベル１の見出し、論理要素Ｂをレベル２の見出し、論理要素Ｃ〜Ｎ５までを表の要素と見なすようモデル定義を持つ文書モデルデータベース１６を作成し、これに基づいた構造化処理を実施することにより、以下の処理手順に基づいて図２０の木構造を抽出した後、図２２に示すＸＭＬ文書へ変換することが可能となる。
【０１２８】
例えば、文書画像中から水平線分と垂直線分を抽出した後、この抽出された線分で囲まれる領域を表要素として抽出する。
【０１２９】
この結果、文書構造解析部１４は、図１９に示す通り、論理要素Ｃを表要素１、論理要素Ｄを表要素２、論理要素Ｅを表要素３、論理要素Ｆ〜Ｈをまとめて表要素４、論理要素Ｉを表要素５、論理要素Ｊ〜Ｎ５をまとめて表要素６としてそれぞれ抽出する。
【０１３０】
次に、文書構造解析部１４は、水平方向に隣接する表要素をグループ化する。詳細には、表要素１と２を表要素グループａ、表要素３と４を表要素グループｂ、表要素５と６を表要素グループｃとする。
【０１３１】
次に、文書構造解析部１４は、表要素グループａ〜ｃまでをグループ化し、図２１に示す表グループを抽出する。
【０１３２】
この結果、文書構造解析部１４は、図２０に示す木構造を抽出する。この抽出された木構造は、データフォーマット変換部１５により図２２に示すＸＭＬ文書へ変換される。
【０１３３】
以上のように、図９に示す印刷文書から図２２に示すＸＭＬ文書を生成することが可能となる。
【０１３４】
【発明の効果】
本発明によれば、多様な形態の印刷文書からＸＭＬやＨＴＭＬ等でタグ付けされた構造化文書を高精度に生成することができる。
【図面の簡単な説明】
【図１】本発明の文書処理装置の構成を示すブロック図である。
【図２】レイアウト解析結果の一例を示す図である。
【図３】外接矩形について説明するための図である。
【図４】文章領域と文字行領域と文字領域とをそれぞれ階層的に記述したようすを示す図である。
【図５】文書要素の関する構造化方法の知識・モデルを定義するためのユーザインタフェースを示す図である。
【図６】論理要素の内容に関する知識・モデルを定義するためのユーザインタフェースを示す図である。
【図７】論理要素の抽出方法の知識・モデルを定義するためのユーザインタフェースを示す図である。
【図８】文書論理要素抽出結果の一例を示す図である。
【図９】処理対象の文書画像の一例を示す図である。
【図１０】文書構造解析結果の一例を示す図である。
【図１１】レイアウト解析結果の一例を示す図である。
【図１２】文書論理要素抽出の一例を示す図である。
【図１３】文書論理要素抽出結果の一例を示す図である。
【図１４】文書構造解析処理における論理要素の階層的グループ化の一例を示す図である。
【図１５】文書構造解析とデータフォーマット変換の処理結果の一例を示す図である。
【図１６】文書構造解析結果の他の例を示す図である。
【図１７】文書構造解析処理における論理要素の階層的グループ化の他の例を示す図である。
【図１８】文書構造解析とデータフォーマット変換の処理結果の他の例を示す図である。
【図１９】文書論理要素抽出結果の他の例を示す図である。
【図２０】文書構造解析結果の他の例を示す図である。
【図２１】文書構造解析処理における論理要素の階層的グループ化の他の例を示す図である。
【図２２】文書構造解析とデータフォーマット変換の処理結果の他の例を示す図である。
【符号の説明】
１０…レイアウト解析部、１１…文字認識部、１２…文書論理要素抽出結果編集部、１３…文書論理要素抽出部、１４…文書構造解析部、１５…データフォーマット変換部、１６…モデルデータベース。
【図１】
2005043990.tif 000003
【図２】
2005043990.tif 000004
【図３】
2005043990.tif 000005
【図４】
2005043990.tif 000006
【図５】
2005043990.tif 000007
【図６】
2005043990.tif 000008
【図７】
2005043990.tif 000009
【図８】
2005043990.tif 000010
【図９】
2005043990.tif 000011
【図１０】
2005043990.tif 000012
【図１１】
2005043990.tif 000013
【図１２】
2005043990.tif 000014
【図１３】
2005043990.tif 000015
【図１４】
2005043990.tif 000016
【図１５】
2005043990.tif 000017
【図１６】
2005043990.tif 000018
【図１７】
2005043990.tif 000019
【図１８】
2005043990.tif 000020
【図１９】
2005043990.tif 000021
【図２０】
2005043990.tif 000022
【図２１】
2005043990.tif 000023
【図２２】
2005043990.tif 000024