(57)【要約】【課題】構造化文書を作成する文書情報処理装置において、テキストアート部分についても的確に抽出して構造化文書を作成することができるようにする。【解決手段】絵文字分離部２００は、電子文書入力部１００が取得したＨＴＭＬ文書から画像部分Ｇ１０とテキスト部分Ｇ２０とを分離する。テキストアート取得部３００は、抽出された文字情報から、文字配列で表される絵柄に意味を持つテキストアートを特定する。構造化文書生成部５００は、テキストアート取得部３００が特定したテキストアートの情報Ｇ２４ａ，Ｇ２４ｂまたはＧ２４ｃと、テキスト解析部４００が通常通り作成した構造化情報Ｇ２０ｃや画像部分Ｇ１０の情報Ｇ１０ａ，Ｇ１０ｂを参照して論理構造化文書を完成させる。【選択図】        図４
2004287992.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の文書情報に基づいて当該文書情報に対応する論理構造化文書を作成する文書情報処理装置であって、
処理対象の文書情報を取得する文書情報入力部と、
前記文書情報入力部が取得した文書情報から文字情報を抽出する文字分離部と、
前記文字分離部が抽出した文字情報から、文字の配列状態により表される絵柄に意味を持つテキストアートを特定するテキストアート特定処理部と、
前記テキストアート特定処理部が特定した前記テキストアートに関する情報に基づいて、前記文書情報入力部が取得した文書情報に対応する論理構造化文書を完成させる構造化文書生成部と
を備えたことを特徴とする文書情報処理装置。
【請求項２】
前記テキストアート特定処理部は、前記テキストアートらしさを特徴付ける所定の条件に基づいて、前記文字情報中の前記テキストアートを特定する
ことを特徴とする請求項１に記載の文書情報処理装置。
【請求項３】
前記テキストアートらしさを特徴付ける所定の条件は、前記文字情報に使用されている、個々の文字のサイズ、フォント種、文字の連続性、文字の連続性と文法との関係、のうちの少なくとも１つである
ことを特徴とする請求項２に記載の文書情報処理装置。
【請求項４】
前記文書情報入力部は、マークアップ言語（Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ  ）で記述された文書情報を取得し、
前記テキストアート特定処理部は、前記文書情報入力部が取得した前記マークアップ言語で記述された文書情報中の前記テキストアートらしさを特徴付けるタグにより囲まれた部分を前記テキストアートと特定する
ことを特徴とする請求項１に記載の文書情報処理装置。
【請求項５】
前記テキストアート判定処理部は、
前記文字分離部が抽出した文字情報を行単位に切り分ける行分離処理部と、
前記行分離処理部により切り分けられた行ごとに、処理対象行中に含まれる文字情報の種別を判別する文字種別判定部と、
前記文字種別判定部による判別結果に基づいて、前記テキストアートを特定するテキストアート特定処理部と
を有することを特徴とする請求項１または４に記載の文書情報処理装置。
【請求項６】
前記テキストアート特定処理部は、
前記文字種別判定部の判別結果が処理対象行内に記号列で表現されている文字列が存在する旨を示していることを条件として、前記記号列に関する情報を所定の記憶媒体に保存する記号列処理部、および前記文字種別判定部の判別結果が前記処理対象行内に記号列もしくは空白文字列で表現されている記号文字列が存在する旨を示していることを条件として、前記記号文字列に関する情報を所定の記憶媒体に保存する記号文字列処理部のうちの少なくとも一方を有し、前記記憶媒体に保存した前記記号列情報と前記記号文字列情報とに基づき、前記記号列および前記記号文字列の少なくとも一方を含む行が複数行に亘って連続することを条件として、当該連続する行の文字情報から前記テキストアートの候補を特定する前記テキストアートの候補の端部の行を特定するテキストアート端部行特定部と、
前記テキストアート候補認識処理部と前記テキストアート端部行特定部との各処理結果に基づいて前記テキストアートを確定するテキストアート確定処理部と
を有することを特徴とする請求項５に記載の文書情報処理装置。
【請求項７】
前記テキストアート特定処理部により特定された前記テキストアートの部分を電子画像フォーマットに変換する電子画像生成部、および前記テキストアート特定処理部により特定された前記テキストアートのレイアウトを保持可能な論理構造の情報を生成する論理構造構築部のうちの少なくとも一方を備え、
前記構造化文書生成部は、前記電子画像生成部や前記論理構造構築部にて生成された情報を使用して、前記文書情報入力部が取得した文書情報に対応する論理構造化文書を完成させる
ことを特徴とする請求項１から６のうちの何れか１項に記載の文書情報処理装置。
【請求項８】
処理対象の文書情報に基づいて当該文書情報に対応する論理構造化文書を作成する手順をコンピュータに実行させるためのプログラムであって、
前記処理対象の文書情報から文字情報を抽出する文字分離手順と、
前記文字分離手順にて抽出した文字情報から、文字の配列状態により表される絵柄に意味を持つテキストアートを特定するテキストアート特定処理手順と、
前記テキストアート特定処理手順にて特定した前記テキストアートに論理構造の属性を付与することによって、前記文書情報に対応する論理構造化文書を完成させる構造化文書生成手順と
を備えたことを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、元の文書情報から論理構造化文書を生成する文書処理装置およびプログラムに関する。より詳細には、文字や記号の配列により表された絵である、いわゆるテキストアート（絵文字や顔文字やアスキーアートなども含む）といわれる部分を含む元文書に対応する論理構造化文書を生成する技術に関する。
【０００２】
【従来の技術】
従来、家庭やオフィスにおいて利用される文書の多くは、紙文書であったり、紙文書を電子的に読み取った電子文書画像であったり、ワープロやパーソナルコンピュータ上で作成された電子文書であった。これらの文書は、印刷されて使用されることが多かった。
【０００３】
また、今日では、電子メールやワールド・ワイド・ウェブ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）の普及に伴い、様々な形態をもった文書が流通するようになっている。たとえば、オフィスにおいてワープロなどを用いて生成された、文字画像や図形など複数のオブジェクトを含んだ電子文書がネットワークを介して流通している。
【０００４】
一方、紙文書やファクシミリ画像などの様々な画像文書、あるいはワープロなどで作成された電子文書を、編集や検索などの２次利用に供する場合、元の文書から論理構造を抽出・認識し論理構造化文書を生成する技術が必要である。このため、既存文書から論理構造を抽出し、構造化文書に変換を行なう試みが種々行なわれている（たとえば特許文献１〜３を参照）。
【０００５】
【特許文献１】
特開平６−２１４９８３号公報
【特許文献２】
特開平１１−２３８０９６号公報
【特許文献３】
特開２００１−２２７３２号公報
【０００６】
たとえば、家庭やオフィスにおける膨大な量の紙文書を有効利用するために、この紙文書をスキャナ（原稿読取装置）を用いて計算機（コンピュータ）に電子データとして取り込み、文字コードを得るための文字認識処理を行なう技術が知られている。また、文字認識だけでなく、文字や図形のレイアウトや論理構造の理解のための解析を行なう技術も知られている。このような文書画像処理では、文書画像に含まれるカラム、図、表、文字行、文字などの要素を分離・抽出し、構造化を行なうことによって、検索などの処理が可能となる。
【０００７】
たとえば、特許文献１には、黒白２値画像で表現される複数の文書画像を、章・節・文章段落・図などに分けられた論理構造を持つ文書に変換する技術が提案されている。この特許文献１に記載の技術では、先ず、複数の文書画像から、互いに近接した領域を抽出し大まかなレイアウトを解析し、文書画像のヘッダやフッタの領域を抽出してページ番号部および共通コンテント部を識別する。この後、各ページのカラム領域の内のブロックを構築し、論理構造を識別するための節番号部を解析し、各節内の表示属性を解析して文章の段落分けを行なう。そして、カラムやページ末の文章段落とそれに続くカラムやページ先頭の文章段落に注目し表示属性がほぼ等しければマージを行なうことで、論理構造をベースとする編集や検索などの処理可能な論理構造化文書を完成する。
【０００８】
また、特許文献２に記載の技術では、処理対象の文書画像を入力・電子データに変換し、この文書画像に含まれる全ての行から行単位にリスト構造を抽出する際に、行の属性として、リスト構造をなす特定の特徴量に基づいてリスト構造を抽出する。これにより、予め文書の構造を記述した辞書や文法を用いることなく、文書画像から行単位にリスト構造を抽出することで、様々なレイアウトをもった文書に適応可能としている。
【０００９】
また、特許文献３に記載の技術では、表テキストデータを読み込み、罫線の始点と終点とを対応させて、それらの間の文字罫線をワープロなどの文書変換装置で扱うことができる罫線に置き換えることによって、表データへの変換を実現する技術が提案されている。
【００１０】
【発明が解決しようとする課題】
しかしながら、従来技術による論理構造化文書の生成技術では、文字列の内容としての意味は重要ではなく、文字列の配列状態（レイアウト）に重要な意味を持ついわゆるテキストアートといわれる情報に対しては、誤った論理構造を与える可能性がある。
【００１１】
テキストアートについて、レイアウト保存の文字認識処理が可能であったとしても、閲覧環境によっては的確に表示されないこともある。よく知られているのは、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）環境のブラウザでフォント設定によってはまともに表示されないことがある。
【００１２】
通常の文字や記号の羅列に基づき論理構造を特定したのでは、テキストアートとしての集合体として、その意味を的確に認識することはできない。このため、検索や編集に際しても、その集合体として一体的に取り扱うことはできない。たとえば、検索エンジンがテキストアート内部の文字を拾ってしまい、結果検索者に迷惑を掛けるといった事態が起こり得る。
【００１３】
加えて、テキストアートについて、レイアウト保存の文字認識処理が可能であったとしても、閲覧環境によっては的確に表示されないこともある。よく知られているのは、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）環境のブラウザでフォント設定によってはまともに表示されないことがある。
【００１４】
今日、Ｗｅｂページや電子メールの署名部分などにテキストアートが使用される複雑なレイアウトをもった文書が取り扱われる機会が増えている。このため、テキストアートを含む文書について論理構造化文書ベースの編集や検索のアプリケーションを想定した場合、テキストアート部分についても的確な論理構造を持つ文書を生成する技術が必要となる。
【００１５】
本発明は、上記事情に鑑みてなされたものであり、テキストアートを含む文書について論理構造化文書を生成する際に、テキストアート部分についても的確な論理構造を付与可能な文書情報処理装置およびコンピュータを利用して論理構造化文書を生成するためのプログラムを提供することを目的とする。
【００１６】
【課題を解決するための手段】
すなわち、本発明に係る文書情報処理装置は、処理対象の文書情報に基づいて文書情報に対応する論理構造化文書を作成する文書情報処理装置であって、処理対象の文書情報を取得する文書情報入力部と、文書情報入力部が取得した文書情報から文字情報を抽出する文字分離部と、文字分離部が抽出した文字情報から、文字の配列状態により表される絵柄に意味を持つテキストアートを特定するテキストアート特定処理部とを備えるものとした。
【００１７】
さらに、文書情報処理装置は、テキストアート特定処理部が特定した前記テキストアートに関する情報に基づいて、文書情報入力部が取得した文書情報に対応する論理構造化文書を完成させる構造化文書生成部を備えるものとした。たとえば、構造化文書生成部は、テキストアート特定処理部が特定したテキストアートに論理構造の属性を付与することによって論理構造化文書を完成させる。
【００１８】
また従属項に記載された発明は、本発明に係る文書情報処理装置のさらなる有利な具体例を規定する。
【００１９】
たとえばテキストアート特定処理部は、文字情報に使用されている、個々の文字のサイズ、フォント種、文字の連続性、文字の連続性と文法との関係など、テキストアートらしさを特徴付ける所定の条件に基づいて、文字情報中のテキストアートを特定するものであることが望ましい。
【００２０】
また、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ  ）やＸＨＴＭＬあるいはＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）などのマークアップ言語で記述された文書情報（電子文書）を取り扱うものとしてもよい。
【００２１】
さらに、本発明に係るプログラムは、本発明に係る文書情報処理装置を、電子計算機（コンピュータ）を用いてソフトウェアで実現するために好適なものである。なお、プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介して配信されてもよい。
【００２２】
【作用】
本発明に係る上記構成の文書情報処理装置においては、先ず文字分離部が、文書情報から文字情報を抽出する。テキストアート特定処理部は、抽出された文字情報から、文字配列で表される絵柄に意味を持つテキストアートを特定する。そして、最後に、構造化文書生成部は、テキストアート特定処理部が特定したテキストアートの情報を参照して論理構造化文書を完成させる。
【００２３】
つまり、文書情報に、文字や記号の組合せにより通常の文字や記号の意味とは異なる意味を表しているテキストアート部分が含まれている場合には、このテキストアート部分を認識し、このテキストアート部分を的確に示す論理構造化文書を完成させる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００２５】
図１は、本発明に係る文書情報処理装置の一実施形態を示すブロック図である。図１に示すように、文書情報処理装置１は、処理対象の文書情報を表す電子文書を取り込む電子文書入力部１００と、電子文書入力部１００が取り込んだ電子文書中に含まれる画像の部分と文字や記号（以下纏めてテキストという）の部分（以下纏めてテキスト部分という）とを分離する絵文字分離部２００と、絵文字分離部２００が分離したテキスト部分について、テキストの並び状態を解析し、テキスト列の並び（その並び状態）が所定の（通常のテキストの持つ意味とは異なる）意味を持つテキストアート部分を特定し属性を付与するテキストアート取得部３００とを備える。
【００２６】
また、文書情報処理装置１は、絵文字分離部２００が分離したテキスト部分について、たとえば、単語、章・節・文章段落などに分割し、形態素解析処理などの手法を用いて特徴抽出処理を行ない各部分に属性を付与するテキスト解析部４００と、文書情報中に含まれる、章、節、文章段落、図、画像、表、あるいはテキストアートなどの要素を分離・抽出し、構造化を行なう（論理構造を認識する）ことによって、論理構造を持った文書に変換する構造化文書生成部５００とを備える。
【００２７】
図２は、文書情報処理装置１が取り扱う電子文書の一例を示す図である。ここで図２（Ａ）は、電子文書を表示デバイス上に表示させた状態を示す図、図２（Ｂ）は、この電子文書がＨＴＭＬで記述されたもの（ＨＴＭＬファイル）である場合におけるソースファイルを示したものである。
【００２８】
電子文書は、画像（絵）部分Ｇ１０とテキスト部分Ｇ２０とが混在している。テキスト部分Ｇ２０は、名詞類、動詞／形容詞／形容動詞類、副詞、記号類などから構成される通常の文章部分Ｇ２２と、文字や記号（複数文字に限らず１文字でもよい）そのものの持つ意味は重要ではなく、文字や記号を組み合わせて作られたテキストの配列状態（レイアウト）により表される絵柄（絵文字）に重要な意味を持つテキストアート部分Ｇ２４とが存在している。
【００２９】
図２（Ａ）に示した例では、テキストアート部分Ｇ２４は、平仮名、カタカナ、漢字、アルファベットなどの通常の文字（全角および半角の何れでもよい）を除く記号から構成されている。
【００３０】
なお、図２（Ｃ）に示すように、一部に通常の文字（文章部分でもよい）を含み大部分が記号からなるものであってもよい。この場合、テキストアート取得部３００は、通常の文字列も含めてテキストアートとして認識するようにしてもよい。
【００３１】
また、図２（Ｄ）に示すように、通常の文字のみでテキストアートが表されたものであってもよい。さらに、図２（Ｅ）に示すように、記号を含むが大部分を通常の文字からなるものであってもよい。通常の文字でテキストアートが構成されている場合、文法上の特性から、所定の文字（空白文字を含む）の並びが文法的に意味をなすか否かに基づいて判断することで、テキストアートであるか否かを判断することができる。この場合、縦書きであるのか横書きであるのかや、複数行に亘る連続性をも加味して判定すれば、より精度の高い判定が可能となる。
【００３２】
また、テキストアート部分Ｇ２４の文字や記号は、半角に限らず全角（典型例としては日本語による２バイト文字）を含んでいてもよい。一般には、全てが半角のアスキーコード（英数記号）を使用した文字絵はアスキーアートといわれ、全角を含むテキストアート（ＡＳＣＩＩ  ＡＲＴ  ）と区別されることがある。ただし、本願明細書では、アスキーアートを含めてテキストアートという。
【００３３】
テキストアート部分の特定に際しては、テキストアートらしさを特徴付ける所定の条件を加味するとよい。たとえば、文法上の特性から、所定の文字（記号や空白文字を含む）の並びが文法的に意味をなすか否かに基づいて判断することで、テキストアートであるか否かを判断することができる。この場合、縦書きであるのか横書きであるのかや複数行に亘る連続性をも加味して判定すれば、より精度の高い判定が可能となる。
【００３４】
また、文書ファイルがＨＴＭＬファイルなどマークアップ言語で記述された文書情報であれば、レイアウト保存を意識したタグにより囲まれた部分（たとえば＜ＰＲＥ＞と＜／ＰＲＥ＞で囲まれた部分が典型例）をテキストアートと特定することができる。タグを参照するだけでテキストアート部分を抽出可能であるので、処理が簡易である。なお、マークアップ言語で記述された文書の場合でも、文法上の特性をも加味して、所定の文字の並びが文法的に意味をなすか否かに基づいて、さらにテキストアートの本体部分を抽出するようにしてもよい。
【００３５】
なお、電子文書入力部１００が取得する電子文書は、ＨＴＭＬに限らず、ＸＭＬやその他のマークアップ言語で記述された文書、ワープロソフトなどで作成された電子文書、あるいはスキャナで読み取った文書画像であってもよい。
【００３６】
図３は、図１に示した文書情報処理装置１による処理手順の概要を示したフローチャートである。この例は、ＨＴＭＬファイルを処理対象文書とする場合に好適な構成例である。
【００３７】
先ず、電子文書入力部１００は、電子文書を取得し、絵文字分離部２００に渡す（Ｓ１００）。絵文字分離部２００のＨＴＭＬタグ解釈部２１０は、入力された電子文書がＨＴＭＬファイルであったときに、入力されたＨＴＭＬファイルのタグを解釈し、文字や記号（テキスト）を示すタグを参照してテキスト部分Ｇ２０を抽出し、テキストアート取得部３００とテキスト解析部４００とに渡す（Ｓ１０２）。また絵文字分離部２００は、ＨＴＭＬファイルのタグを解釈し、画像を示すタグを参照して画像部分Ｇ１０を抽出し、テキストアート取得部３００とテキスト解析部４００とに渡す（Ｓ１０２）。
【００３８】
テキストアート取得部３００は、絵文字分離部２００から入力されたテキスト部分Ｇ２０について、後述する手順に従ってテキストアート抽出処理を実行し、テキストアート部分Ｇ２４について得られた構造化情報を構造化文書生成部５００に渡す（Ｓ１０４）。
【００３９】
テキスト解析部４００は、絵文字分離部２００から入力されたテキスト部分Ｇ２０について、形態素解析処理などの手法を用いて特徴抽出処理を行ない各部分の論理構造を構築し、テキストアート部分Ｇ２４本来の論理構造情報を生成し、構造化文書生成部５００に渡す（Ｓ１０６）。つまり、テキスト解析部４００は、電子文書全体の文字情報について、従来と同様にして、論理構造を構築する。
【００４０】
テキスト解析部４００にて形態素解析（単語切り）処理などを利用した特徴抽出処理を行なうのは、意味的に情報に富んだ部分とそれ以外の部分を、予め定めた特定の品詞の単語によって峻別するためである。たとえば、日本語においては、この特定の品詞として、名詞類、動詞／形容詞／形容動詞類の語幹、副詞、記号類の何れでもない品詞とに分ける。テキスト解析部４００は、たとえば、文書情報を節文書や単語などに分割するための規則が定義された文書構造化テーブルに基づいて、文書情報を節文書や単語などに分割し、この分割した節文書や単語の文書内容を形態素解析する。なお、形態素解析処理は、公知の技術であるので、その詳細な説明は割愛する。
【００４１】
構造化文書生成部５００は、絵文字分離部２００により分離された画像部分Ｇ１０の論理構造情報、テキストアート取得部３００により取得されたテキストアート部分Ｇ２４の論理構造情報、およびテキスト解析部４００による解析により得られたテキスト部分Ｇ２０本来の論理構造情報に基づき、文書のレイアウト要素と論理要素とを明確に区別することで、検索や編集などの処理が可能となる構造化文書を生成する（Ｓ１０８）。
【００４２】
図４は、文書情報処理装置１の詳細を示すブロック図である。絵文字分離部２００は、電子文書入力部１００が取得したＨＴＭＬ文書のタグを解釈するＨＴＭＬタグ解釈部２１０と、ＨＴＭＬタグ解釈部２１０の解釈結果を参照して、テキスト部分を抽出するテキスト抽出部２２０および画像部分を抽出する画像抽出部２３０とを備える。ＨＴＭＬタグ解釈部２１０は、ＨＴＭＬファイルを取り扱う場合に有効な機能要素であり、ＨＴＭＬファイルを取り扱わない場合には、図中点線で示すように、このＨＴＭＬタグ解釈部２１０を割愛してもよい。
【００４３】
テキスト抽出部２２０はテキスト部分Ｇ２０を、画像抽出部２３０は画像部分Ｇ１０をそれぞれ抽出する。ＨＴＭＬファイルを取り扱う場合であればタグを利用可能である。ワープロ文書や画像文書の場合には、公知の絵文字分離処理を適用すればよい。
【００４４】
たとえば、ＨＴＭＬ文書を取り扱う場合であれば、ＨＴＭＬタグ解釈部２１０の解釈結果に基づき、テキストを示す所定のタグで囲まれたテキスト部分Ｇ２０を取得し、このテキスト部分Ｇ２０をテキストアート取得部３００とテキスト解析部４００とに渡す。テキストを示す所定のタグとしては、たとえば、＜Ｐ＞と＜／Ｐ＞とで示されるタグや、＜ＰＲＥ＞と＜／ＰＲＥ＞とで示されるタグなどがある。
【００４５】
画像抽出部２３０は、ＨＴＭＬタグ解釈部２１０の解釈結果に基づき、画像表示を指示する所定のタグで示された画像部分Ｇ１０の情報（画像データ）Ｇ１０ａとその属性情報Ｇ１０ｂとを構造化文書生成部５００に渡す。画像表示を指示する所定のタグとしては、たとえば、＜ｉｍｇ  ｓｒｃ＝”＠＠＠”＞タグ（＠＠＠は画像ファイル名）などがある。
【００４６】
テキストアート取得部３００は、テキスト抽出部２２０から入力されたテキスト部分Ｇ２０について、テキスト部分Ｇ２０がテキストアート部分Ｇ２４であるか否かを判定し、テキストアート部分Ｇ２４であると判定した部分について、文字サイズ（フォントサイズ／ポイント数）、文字出現位置、フォント種（フォントタイプ／書体やフォントスタイルあるいはフォント色）などの文字情報を所定の記憶媒体に記憶するテキストアート判定処理部３２０と、テキストアート判定処理部３２０にて確定されたテキストアート情報を所定の記憶媒体に保存する文字種情報保存処理部３４０とを有する。
【００４７】
またテキストアート取得部３００は、テキストアート判定処理部３２０にて確定されたテキストアート部分Ｇ２４について、電子画像に変換するか否かを選択する電子画像化選択指示部３５０と、電子画像化選択指示部３５０の電子画像変換指示に従って、文字種情報保存処理部３４０により所定の記憶媒体に保存されたテキストアート情報で示される文字情報を用いてテキストアート部分Ｇ２４を電子画像に変換する電子画像生成部３６０とを有する。該当部分を画像化する手法は公知技術であるので、その説明は割愛する。電子画像生成部３６０は、テキストアート部分Ｇ２４について生成した画像情報（画像データ）Ｇ２４ａとその属性情報Ｇ２４ｂとを構造化文書生成部５００に渡す。テキストアート部分Ｇ２４を電子画像化した情報を用意することで、２次利用の際、テキストアート部分Ｇ２４のレイアウトを崩すことなく閲覧者に文書情報を提示することが可能となる。
【００４８】
たとえば、電子メールとしてＨＴＭＬメールを使用している場合であれば、当初はテキストアート部分Ｇ２４をテキストで表している受信メールに対する返信メールでは、テキストアート部分Ｇ２４を電子画像化して返信するといった使い方が可能となる。これにより、返信メール受信者側の閲覧環境の影響を受けることなく、テキストアート部分Ｇ２４が的確に表示されるようになる。従来であれば、返信メールのテキスト部分に“＞”などの引用符号が付与され、また改行コードが挿入されるなどしてレイアウトが崩れる問題が生じ得るが、本実施形態によれば、このような問題を防止することが可能となる。
【００４９】
またテキストアート取得部３００は、電子画像化選択指示部３５０の論理構造構築指示に従って、文字種情報保存処理部３４０により所定の記憶媒体に保存されたテキストアート情報で示される文字情報について、文字のサイズ、位置、フォント種など、テキストアート部分Ｇ２４のレイアウトを保持可能な論理構造を構築する論理構造構築部３８０を有する。論理構造構築部３８０は、テキストアート部分Ｇ２４について構築した論理構造の情報Ｇ２４ｃを構造化文書生成部５００に渡す。
【００５０】
この場合のレイアウトを保持可能な論理構造としては、たとえばＨＴＭＬファイルを使用する場合には、テキストアート部分Ｇ２４を＜ＰＲＥ＞と＜／ＰＲＥ＞とで示されるタグで囲むのがよい。テキストアート部分Ｇ２４のレイアウトを保存可能な構造化情報を用意することで、電子画像化する場合と同様に、２次利用の際、テキストアート部分Ｇ２４のレイアウトを崩すことなく閲覧者に文書情報を提示することが可能となり、同様の効果を享受することができる。
【００５１】
つまり、テキストアート取得部３００は、テキストアート部分Ｇ２４については、テキストアート部分Ｇ２４を電子画像に変換する場合には電子画像生成部３６０にて画像化された論理構造情報を構造化文書生成部５００に渡し、電子画像に変換しない場合には論理構造構築部３８０にて生成された、文字サイズ、文字位置、各文字のフォント種を保持した論理構造情報を構造化文書生成部５００に渡す。電子画像生成部３６０と論理構造構築部３８０とは、電子画像化選択指示部３５０の指示の元で、何れか一方が択一的に動作すればよい。
【００５２】
構造化文書生成部５００は、電子画像生成部３６０からテキストアート部分Ｇ２４について生成された画像情報（画像データ）Ｇ２４ａとその属性情報Ｇ２４ｂとを受け取ると、テキストアート部分Ｇ２４に関するこれらの情報Ｇ２４ａ，Ｇ２４ｂやテキスト解析部４００にて生成されている通常の構造化情報Ｇ２０ｃ並びに画像についての構造化情報Ｇ１０ａ，Ｇ１０ｂを用いて構造化文書を完成させる。一方、論理構造構築部３８０からテキストアート部分Ｇ２４について構造化情報Ｇ２４ｃを受け取ると、この構造化情報Ｇ２４ｃやテキスト解析部４００にて生成されている通常の構造化情報Ｇ２０ｃ並びに画像についての構造化情報Ｇ１０ａ，Ｇ１０ｂを用いて構造化文書を完成させる。
【００５３】
図５は、図４に示した文書情報処理装置１による処理手順を示したフローチャートである。ここでは、特にテキストアート部分Ｇ２４についての処理に着目して示す。画像部分Ｇ１０やテキスト部分Ｇ２０についての通常の処理は図３に示したとおりである。取り扱う文書は、ＨＴＭＬファイルに限らず、ワープロ文書や画像文書の場合であってもよい。先ず、説明を簡潔にするため、ＨＴＭＬファイルを取り扱うものとして説明する。
【００５４】
絵文字分離部２００は、電子文書入力部１００から電子文書を取り込む。絵文字分離部２００のＨＴＭＬタグ解釈部２１０は、入力された電子文書がＨＴＭＬファイルであったときに、入力されたＨＴＭＬファイルのタグを解釈する（Ｓ２００）。テキスト抽出部２２０は、たとえば＜ＰＲＥ＞と＜／ＰＲＥ＞タグで囲まれたテキスト部分Ｇ２０があるか否かを判定し（Ｓ２０２）、ある場合にはテキスト部分Ｇ２０を取得し、テキストアート取得部３００とテキスト解析部４００とに渡す（Ｓ２０２−ＹＥＳ）。
【００５５】
テキストアート判定処理部３２０は、テキスト抽出部２２０から入力されたテキスト部分Ｇ２０がテキストアート部分Ｇ２４であるか否かを判定し（Ｓ２０４）、テキストアート部分Ｇ２４であれば、テキスト抽出部２２０から入力された前記タグ内の文字についての、サイズ、出現位置、フォント種などの文字情報を所定の記憶媒体に保存する（Ｓ２０６）。
【００５６】
絵文字分離部２００と文字種情報保存処理部３４０とは、入力されたＨＴＭＬファイルの全タグについて同様の処理を繰り返す（Ｓ２０２−ＮＯなど）。
【００５７】
これと並行して、テキストアート判定処理部３２０は、テキスト部分Ｇ２０がテキストアート部分Ｇ２４であるか否かを判定し（Ｓ２１０）、テキストアート部分Ｇ２４であれば、電子画像化選択指示部３５０は、そのテキストアート部分Ｇ２４を電子画像に変換するか否かを選択する（Ｓ２１２）。この選択は、その都度ユーザの指示を受けてもよいし、事前にどちらかに決めておいてもよい。
【００５８】
電子画像としての変換を選択する場合は、電子画像化選択指示部３５０は電子画像生成部３６０にテキストアート部分Ｇ２４の電子画像化を指示する（Ｓ２１２−ＹＥＳ）。電子画像生成部３６０は、電子画像化選択指示部３５０から指示を受けたとき（Ｓ２１２−ＹＥＳ）、文字種情報保存処理部３４０で保存されている文字情報を用いてテキストアート部分Ｇ２４を電子画像に変換し、テキストアート部分Ｇ２４についての構造化情報（Ｇ２４ａ，Ｇ２４ｂ）を構造化文書生成部５００に渡す。
【００５９】
電子画像としての変換を選択しない場合は、電子画像化選択指示部３５０は論理構造構築部３８０に論理構造化処理を指示する（Ｓ２１２−ＮＯ）。論理構造構築部３８０は、電子画像化選択指示部３５０から指示を受けたとき（Ｓ２１２−ＮＯ）、文字種情報保存処理部３４０に保存されている文字情報について、文字のサイズ、位置、フォント種など、テキストアート部分Ｇ２４のレイアウトを保持可能な論理構造を構築し、テキストアート部分Ｇ２４についての通常の構造化情報（Ｇ２４ｃ）を構造化文書生成部５００に渡す（Ｓ２１６）。
【００６０】
構造化文書生成部５００は、絵文字分離部２００により分離された画像部分Ｇ１０の情報（画像データＧ１０ａとその属性情報Ｇ１０ｂ）、テキストアート取得部３００により取得されたテキストアート部分Ｇ２４の情報（画像データＧ２４ａとその属性情報Ｇ２４ｂ、または論理構造情報Ｇ２４ｃ、およびテキスト解析部４００による解析により得られたテキスト部分本来の論理構造情報Ｇ２０ｃに基づき、文書のレイアウト要素と論理要素とを明確に区別することで、検索や編集などの処理が可能となる構造化文書を生成する（Ｓ２１８）。
【００６１】
テキストアート部分Ｇ２４については、構造化文書生成部５００には、画像データＧ２４ａとその属性情報Ｇ２４ｂ、もしくは論理構造情報Ｇ２４ｃの何れか一方のみが入力される。このため、構造化文書生成部５００は、テキストアート部分Ｇ２４を電子画像フォーマットに変換した構造化文書を生成するか、または、文字サイズ、文字位置、フォント種などの文字情報を保持した構造化文書の何れか一方を生成することとなる。これにより、文字列の内容としての意味は重要ではなく、文字列の配列状態に重要な意味を持つテキストアート部分Ｇ２４に対して誤った論理構造を与える可能性を防止することが可能となる。
【００６２】
また、構造化文書生成部５００は、たとえば画像について検索処理用の付帯情報を付与する場合と同様に、テキストアート部分Ｇ２４についての検索用の付帯情報を付与すればよい。また、テキストアート部分Ｇ２４については、テキスト解析部４００により生成されている構造化情報Ｇ２０ｃの使用を禁止するとよい。検索エンジンがテキストアート内部の文字を拾ってしまい、結果検索者に迷惑を掛けるといった事態を防止するためである。
【００６３】
テキストアート取得部３００にて認識したテキストアート部分Ｇ２４を電子画像化したりレイアウト保存可能な構造化情報を用意したりすることで、２次利用の際、テキストアート部分Ｇ２４のレイアウトを崩すことなく閲覧者に文書情報を提示することも可能となる。たとえば、電子メールとしてＨＴＭＬメールを使用している場合であれば、当初はテキストアート部分Ｇ２４をテキストで表している受信メールに対する返信メールでは、テキストアート部分Ｇ２４を電子画像化して返信するといった使い方が可能となる。これにより、返信メール受信者側の閲覧環境の影響を受けることなく、テキストアート部分Ｇ２４が的確に表示されるようになる。従来では、返信メールのテキスト部分に“＞”などの引用符号が付与され、また改行コードが挿入されるなどしてレイアウトが崩れる問題が生じ得るが、本実施形態によれば、このような問題を防止することが可能となる。
【００６４】
図６は、図４に示したテキストアート判定処理部３２０の詳細を示すブロック図である。この構成は、取り扱う文書が、ＨＴＭＬファイルに限らず、ワープロ文書や画像文書の場合にも好適な構成例である。以下の説明では、ＨＴＭＬファイルではなく、ワープロ文書や画像文書を取り扱うものとして説明する。
【００６５】
テキストアート判定処理部３２０は、テキストアートらしさを特徴付ける所定の条件に基づいて、テキスト部分Ｇ２０からテキストアート部分Ｇ２４を抽出する。ここで、テキストアートらしさを特徴付ける所定の条件は、図２に示したテキストアートの例からも分かるように、様々なものが考えられる。
【００６６】
たとえば、テキストアート部分Ｇ２４が記号のみから構成されている図２（Ａ）に示した例であれば、１行内に記号と空白文字のみを含むことを条件とすることができる。また、図２（Ｃ）に示すように、一部に通常の文字を含み大部分が記号からなるものである場合には、記号と空白文字の連続性を条件とすることができる。
【００６７】
また、図２（Ｄ）や図２（Ｅ）に示すように、通常の文字が全部もしくは大部分を占めて構成されるケースでは、各通常文字の連続性と日本語文法との関係から、通常の文章としての意味をなし得るか否かを条件とするとよい。また、縦書きであるのか横書きであるのかや複数行に亘る連続性をも加味して判定すれば、より精度の高い判定が可能となる。この場合、テキストアート判定処理部３２０は、テキスト解析部４００による解析と連携した処理を行なうのがよい。
【００６８】
説明を簡単にするため、先ず、通常の文字を除く記号のみ、もしくは記号や空白文字が大部分を占めてテキストアート部分Ｇ２４が構成されているものとして説明する。この場合、テキストアート判定処理部３２０は、テキスト抽出部２２０が抽出したテキストアート部分Ｇ２４について、文字情報を元のＨＴＭＬ文書中の行単位で切り分ける行分離処理部３２２と、行分離処理部３２２により切り分けられた行ごとに（文字列単位で）、処理対象の行中に含まれる文字情報の種別を判別する文字種別判定部３２４と、文字種別判定部３２４による判別処理結果やその他の機能部の中間情報を記憶する記憶部３２６と、文字種別判定部３２４の判別結果を参照してテキストアート部分Ｇ２４を特定するテキストアート特定処理部３３０とを有する。
【００６９】
テキストアート特定処理部３３０は、文字種別判定部３２４の判定結果である記号列や、記号列と空白文字列とを含む記号文字列の情報、さらには行番号を参照して、テキストアートの候補部分を認識し記憶部３２６に記憶するテキストアート候補認識処理部３３２と、該当するテキストアート情報候補部分の最終行（末端行）を特定するテキストアート端部行特定部３３４と、テキストアート候補認識処理部３３２とテキストアート端部行特定部３３４との各処理結果に基づいてテキストアート部分Ｇ２４を確定させるテキストアート確定処理部３３６とを有する。
【００７０】
テキストアート候補認識処理部３３２は、処理対象行の該当文字列が記号列で表現されているときにその記号列情報を記憶部３２６に記憶する記号列処理部３３２ａと、記号列を含む処理対象行の次行中に、記号列が表現されているかもしくは空白文字が連続しているときに、すなわち記号文字列が存在するときに、その記号文字列情報を記憶部３２６に記憶する記号文字列処理部３３２ｂとを有する。
【００７１】
テキストアート候補認識処理部３３２は、記憶部３２６に保存した記号列情報と記号文字列情報とに基づき、記号列もしくは記号文字列を含む行が複数に亘って連続することを条件として、連続する記号行と記号文字列行とを纏めてテキストアート部分Ｇ２４を構成する候補行であると認識し、その情報を記憶部３２６に記憶する。本実施形態においては、始めに記号列で構成される文字列が出現した行から空白文字で構成される文字列が存在しない行までの該当文字列をテキストアート情報と認識する。
【００７２】
テキストアート端部行特定部３３４は、処理対象行が記号文字列を含まないことを条件として、その処理対象行の前の行がテキストアート候補認識処理部３３２が認識したテキストアート候補行からなるテキストアート部分Ｇ２４の端部の行（本例では最終行）であると認識し、その情報を記憶部３２６に記憶する。
【００７３】
テキストアート確定処理部３３６は、テキストアート候補認識処理部３３２がテキストアート候補行として認識した記号列を含む最初の行から、テキストアート端部行特定部３３４により特定されたテキストアート部分Ｇ２４の最終行までについて、テキストアート部分Ｇ２４を構成する記号文字列を、文字（１文字もしくは複数文字での）本来の意味よりも、文字の配列状態（レイアウト）がより重要な意味を持つテキストアート情報であると認識する。
【００７４】
この際、テキストアート確定処理部３３６は、全てが空白行である部分をテキストアート部分Ｇ２４に含めてもよい。すなわち、始めに記号列または空白文字列で構成される文字列が出現した行から空白文字で構成される文字列が存在しない行までの該当文字列をテキストアート部分Ｇ２４と認識する。なお、これに限らず、テキストアート確定処理部３３６は、全てが空白行である部分を除いてテキストアート部分Ｇ２４を確定してもよい。
【００７５】
何れの場合も、テキストアート候補認識処理部３３２がテキストアート候補行として認識した行中の記号文字列のみでテキストアート部分Ｇ２４を確定させるので、そのテキストアート候補行中に通常の文字が含まれる場合であっても、この通常文字を除く記号文字列部分だけがテキストアート部分Ｇ２４として確定される。
【００７６】
図示しないが、この場合にも、電子画像化選択指示部３５０、電子画像生成部３６０、あるいは論理構造構築部３８０、さらにはテキスト解析部４００や構造化文書生成部５００を有する。それぞれの処理は、図４に示したものと同様である。ただし、論理構造構築部３８０は、ＨＴＭＬファイルではなく、ワープロ文書や画像文書を取り扱う場合に適合するように、レイアウト保存可能な構造化情報を用意する。たとえば、ワープロ文書を使用する場合には、テキストアート部分Ｇ２４を、それぞれの文字の文字サイズ（フォントサイズ／ポイント数）、文字出現位置、フォント種（フォントタイプ／書体やフォントスタイルあるいはフォント色）などの取得可能な文字情報を保存しておくとよい。こうすることで、電子画像化する場合と同様に、２次利用の際、保存してある情報を元に再現することにより、テキストアート部分Ｇ２４のレイアウトを崩すことなく閲覧者に文書情報を提示することが可能となり、同様の効果を享受することができる。
【００７７】
図７は、テキストアート判定処理部３２０とテキスト解析部４００による処理手順を示したフローチャートである。
【００７８】
行分離処理部３２２は、テキスト抽出部２２０により抽出されたテキスト部分Ｇ２０について、テキストの行数（行数：Ｎ）を抽出する（Ｓ３００）。テキスト解析部４００は、テキスト抽出部２２０により抽出された電子文書全体の文字情報について、従来と同様の手法により論理構造を構築する（Ｓ３０２）。
【００７９】
次にテキストアート取得部３００は、判定フラグ（＝処理中の行番号）ｎを“１”に、また判定フラグ（＝テキストアート記憶フラグ）ｐを“０”に、それぞれ初期化する（Ｓ３０４）。文字種別判定部３２４は、行分離処理部３２２により行ごとに分離された文字情報について、行中から記号文字列を抽出する（Ｓ３０６）。また行中に記号列（ここでは空白文字列は含まない）が含まれているか否かを判定する（Ｓ３０８）。
【００８０】
そして、行数Ｎ回分の記号文字列抽出処理（Ｓ３０６）を繰り返す過程で、行中に記号列が含まれている場合には（Ｓ３０８−ＹＥＳ）、テキストアートの可能性が存在するので、文字種別判定部３２４は、記号列があった行と、該当記号列や存在する場合は空白文字も含めて、これらの文字情報を記憶部３２６に保存する（Ｓ３１４）。記号列と空白文字列とを纏めて、記号文字列ともいう。
このとき、先ず、テキストアート記憶中、つまりテキストアート記憶フラグｐの値が初期値（＝０）であるか否かを判定する（Ｓ３１０）。そして、初期値であれば（Ｓ３１０−ＹＥＳ）、該当記号文字列が出現した行数ｎをテキストアート記憶フラグＰの値に設定することで記憶開始を設定してから、記憶処理（Ｓ３１４）に移行する（Ｓ２１２）。一方、初期値でなければ、そのまま記憶処理（Ｓ３１４）に移行する（Ｓ３１０−ＮＯ）。
【００８１】
そして、何れの場合も、保存した後には、判定フラグｎに“１”を加算して（Ｓ３２８）、最終行に達していなければ次の行へ処理を移し、ステップＳ３０６に戻って記号文字列抽出処理を行なう（Ｓ３３０−ＮＯ）。つまり、処理している行番号ｎが全体の行数Ｎに対してｎ＞Ｎでない限り、行番号ｎの行について記号文字列抽出処理（Ｓ３０６）を継続する。
【００８２】
また、行数Ｎ回分の記号文字列抽出処理（Ｓ３０６）を繰り返す過程で、記号文字列がない場合は（Ｓ３０８−ＮＯ）、テキストアート記憶フラグｐの値に基づき処理を行なう。たとえば、テキストアート記憶フラグＰの値が初期値（＝０）であるときには（Ｓ３２０−ＹＥＳ）、テキストアートに関する処理を行なわないので、テキストアート判定処理部３２０は、判定フラグｎに“１”を加算して（Ｓ３２８）、最終行に達していなければ次の行へ処理を移し、ステップＳ３０６に戻って記号文字列抽出処理を行なう（Ｓ３３０−ＮＯ）。
【００８３】
また、テキストアート記憶フラグｐの値が“ｎ−１”であるとき（Ｓ３２０−ＮＯ，Ｓ３２２−ＹＥＳ）、すなわち記号文字列が１行で終了している場合には、テキストアート判定処理部３２０は、記憶してあるテキストアート情報を破棄するとともに、テキストアート記憶フラグｐの値を初期値０に設定する（Ｓ３２４）。そして、判定フラグｎに“１”を加算して（Ｓ３２８）、最終行に達していなければ次の行へ処理を移し、ステップＳ３０６に戻って記号文字列抽出処理を行なう（Ｓ３３０−ＮＯ）。
【００８４】
テキストアート記憶フラグｐの値が“０”または“ｎ−１”ではないとき（Ｓ３２０−ＮＯ，Ｓ３２２−ＮＯ）、すなわち記号文字列が複数行に亘り存在していて、当該処理対象行がそれに続く通常文字のみからなる場合には、テキストアート端部行特定部３３４は、その処理対象行の前の行が該当するテキストアート部分Ｇ２４の最終行であるとする（Ｓ３２６）。また、テキストアート確定処理部３３６は、ステップＳ３１４にて保存しておいた、連続する記号文字列行についての文字情報（主に記号文字列部分）を用いて、複数行に亘る記号文字列部分を１つのテキストアート部分Ｇ２４として確定しテキストアート情報として記憶部３２６に記憶するとともに、テキストアート記憶フラグｐの値を初期値０に設定する（Ｓ３２７）。このステップＳ３２６，Ｓ３２７の処理を纏めて、テキストアート終了処理という。この後、テキストアート判定処理部３２０は、判定フラグｎに“１”を加算して（Ｓ３２８）、最終行に達していなければ次の行へ処理を移し、ステップＳ３０６に戻って記号文字列抽出処理を行なう（Ｓ３３０−ＮＯ）。
【００８５】
処理している行番号ｎが全体の行数Ｎに対してｎ＞Ｎになった場合は（Ｓ３３０−ＹＥＳ）、テキストアート判定処理部３２０は、テキストアート終了処理（Ｓ３２６，Ｓ３２７）によって処理されたテキストアート情報を、文字種情報保存処理部３４０に渡して、判定処理を完了する。
【００８６】
図８は、文書情報処理装置１のよる上記処理を行なう場合の具体的事例を示す図である。この図は、テキスト抽出部２２０により抽出されるテキスト部分Ｇ２０について、テキスト部分Ｇ２０内のテキストアート部分Ｇ２４が、テキストアート取得部３００による処理で、テキストアート部分Ｇ２４と判定されるか否かを説明するものである。以下、図６に示したフローチャートも参照して、説明する。
【００８７】
テキストアート判定処理部３２０は、テキスト抽出部２２０により抽出されたテキスト部分Ｇ２０について、図８に示すように、テキストの行番号ｎとテキスト部分Ｇ２０と対応付ける。
【００８８】
文字種別判定部３２４は、ｎ＝１から順に記号行であるか否かを判定する（Ｓ３０６，Ｓ３０８）。１行目から１０行目までは文章部分Ｇ２２の行（文章行）であるから、文字種別判定部３２４は、そのままとしておく（Ｓ３０８−ＮＯ，Ｓ３２０−ＮＯ）。また、１１行目から１２行目までは空白文字の行（空白行）であるから、文字種別判定部３２４は、そのままとしておく、すなわち、空白文字列の文字情報を保存しない。本実施形態の記号文字列処理部３３２ｂは、記号列を含む処理対象行の次行中に、記号列が表現されているかもしくは空白文字が連続しているときに記号文字列情報を記憶部３２６に記憶する構成としており、結果として、テキストアート候補認識処理部３３２は、始めに記号列で構成される文字列が出現した行から空白文字で構成される文字列が存在しない行までの該当文字列をテキストアート情報と認識する構成となるからである。
【００８９】
最初のテキストアート部分Ｇ２４は、１４〜１７行目に亘って存在している。文字種別判定部３２４は、このことを検知すると（Ｓ３０６，Ｓ３０８）、このテキストアート行中の記号文字列の文字情報を記憶部３２６に保存する（Ｓ３０８−ＹＥＳ〜Ｓ３１４）。最初のテキストアート部分Ｇ２４が終了した後、１８〜２０行目まで空白行が存在する。文字種別判定部３２４は、この空白行の文字情報を記憶部３２６に保存する（Ｓ３０６−ＹＥＳ〜Ｓ３１４）。つまり、文字種別判定部３２４は、テキストアート部分Ｇ２４についての文字情報を記憶部３２６に保存している過程では、空白行の文字情報を記号文字列として取り扱い、記憶部３２６に保存する。
【００９０】
２１行目から２つ目の文章部分Ｇ２２の行が開始する。このことをテキストアート端部行特定部３３４が検知すると（Ｓ３２６）、直前の２０行目が、最初のテキストアート部分Ｇ２４の最終行である旨をテキストアート確定処理部３３６に通知する。これを受けて、テキストアート確定処理部３３６は、始めに記号文字列または空白文字列で構成される文字列が出現した行から、空白文字で構成される文字列が存在しない行までの該当文字列をテキストアート情報と認識する（Ｓ３２７）。
【００９１】
３０行目に２つ目のテキストアート部分Ｇ２４を含む行が存在する。ただしこの２つ目のテキストアート部分Ｇ２４は１行のみで３１行目には３つ目の文章部分Ｇ２２の行が開始する。このことをテキストアート端部行特定部３３４が検知すると（Ｓ３２６）、テキストアート確定処理部３３６は、記憶してあるテキストアート情報を破棄する（Ｓ３２４）。よって、テキストアート確定処理部３３６は、３０行目のテキストアート部分Ｇ２４に関しては、テキストアート情報と認識することはない。１行だけでなるテキストアート部分Ｇ２４は、１まとめにしなくても、不都合はないとの前提に立ってのものである。
【００９２】
以上説明したように、上記実施形態の文書情報処理装置１は、入力された文書情報中に含まれる所定条件に合致するテキスト行の全体または一部を１グループに纏めて属性を与えることで文書の論理構造を完成する機能を備えている。
【００９３】
たとえば、テキストアートのような文字や記号の組合せにより、通常の文書中の文字や記号そのものの意味とは異なる意味を表している部分を認識すると、その部分を１グループに纏めてテキストアート部としての属性を与える。テキストアートについて、通常の文字や記号の羅列に基づき論理構造を特定したのでは、たとえレイアウト保存を確保できたとしても、その集合体としての意味を的確に認識することはできないし、検索や編集に際しても、その集合体として一体的に取り扱うことはできない。
【００９４】
これに対して、上記実施形態の文書情報処理装置１によれば、テキストアートについて的確に認識しそのテキストアートを１グループに纏めて論理構造を付与するようにした。これにより、テキストアート部分Ｇ２４も含めて、文書情報を、論理構造を持つ的確な文書（論理構造化文書）に変換することができ、テキストアートについても、論理構造をベースとする編集や検索などの処理可能な形式とすることができる。
【００９５】
なお、上述した文書情報中のテキストアート部分を的確に認識し、構造化文書を作成する一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ（組込みマイコンなど）、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００９６】
記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ  ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）を含む）、光磁気ディスク（ＭＤ（Ｍｉｎｉ  Ｄｉｓｃ  ）を含む）、もしくは半導体メモリなどよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供されてもよいし、プログラムが記録されているＲＯＭやハードディスクなどで構成されてもよい。あるいは、ソフトウェアを構成するプログラムが、通信網を介して提供されてもよい。
【００９７】
図９は、ＣＰＵやメモリを利用して、ソフトウェア的に文書情報処理装置１を構成する、すなわち電子計算機（コンピュータ）を用いて構成する場合のハードウェア構成の一例を示した図である。
【００９８】
文書情報処理装置１を構成するコンピュータシステム９００は、ＣＰＵ９０２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０４、ＲＡＭ９０６、および通信Ｉ／Ｆ（インターフェース）９０８を備える。ＲＡＭ９０６は、画像データを格納する領域を含んでいる。
【００９９】
また、たとえばメモリ読出部９０７、ハードディスク装置９１４、フレキシブルディスク（ＦＤ）ドライブ９１６、あるいはＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  ＲＯＭ）ドライブ９１８などの、記憶媒体からデータを読み出したり記録したりするための記録・読取装置を備えてもよい。画像データは、データバスを通じて各ハードウェア間をやり取りされる。
【０１００】
ハードディスク装置９１４、ＦＤドライブ９１６、あるいはＣＤ−ＲＯＭドライブ９１８は、たとえば、ＣＰＵ９０２にソフトウェア処理をさせるためのプログラムデータを登録するなどのために利用される。また、ハードディスク装置９１４は、処理対象画像データを格納する領域を含んでいる。
【０１０１】
通信Ｉ／Ｆ９０８は、インターネットなどの通信網との間の通信データの受渡しを仲介する。またコンピュータシステム９００は、スキャナ装置９９０との間のインターフェース（ＩＯＴコントローラ）の機能をなすスキャナＩ／Ｆ部９３０を備える。スキャナＩ／Ｆ部９３０は、スキャナ装置９９０からの出力データをアナログデジタル変換してＲＡＭ９０６もしくはハードディスク装置９１４へ格納する。
【０１０２】
スキャナ装置９９０やスキャナＩ／Ｆ部９３０は、上記実施形態で示した電子文書入力部１００の一例を構成する。紙媒体などの原稿文書を処理対象文書とするためのものである。なお、上記実施形態と同様に、当該コンピュータシステム９００内に組み込まれているソフトウェアにて作成される電子文書やネットワークあるいは記録メディア（たとえばフレキシブルディスクＦＤ９２０など）を介して入手した電子文書を処理対象文書としてもよい。
【０１０３】
また、上記実施形態で示した絵文字分離部２００やテキストアート取得部３００、テキスト解析部４００あるいは構造化文書生成部５００の各機能部分の全ての処理をソフトウェアで行なうのではなく、これら機能部分の一部をハードウェアにて処理回路９４０として設けてもよい。
【０１０４】
この構成のコンピュータシステム９００は、上記実施形態に示した文書情報処理装置１の基本的な構成および動作と同様とすることができる。また、上述した処理をコンピュータに実行させるプログラムは、ＣＤ−ＲＯＭ９２２などの記録媒体を通じて配布される。あるいは、プログラムは、ＣＤ−ＲＯＭ９２２ではなくＦＤ９２０に格納されてもよい。また、ＭＯドライブを設け、ＭＯに前記プログラムを格納してもよく、またフラッシュメモリなどの不揮発性の半導体メモリカード９２４など、その他の記録媒体に前記プログラムを格納してもよい。
【０１０５】
さらに、他のサーバなどからインターネットなどの通信網を経由して前記プログラムをダウンロードして取得したり、あるいは更新したりしてもよい。なお、記録媒体としては、ＦＤ９２０やＣＤ−ＲＯＭ９２２などの他にも、ＤＶＤなどの光学記録媒体、ＭＤなどの磁気記録媒体、ＰＤなどの光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアカードなどの半導体メモリを用いることができる。
【０１０６】
記録媒体の一例としてのＦＤ９２０やＣＤ−ＲＯＭ９２２などには、上記実施形態で説明した文書情報処理装置１における処理の一部または全ての機能を実行するためのソフトウェアを格納することができる。このようなソフトウェアは、たとえば、ＨＴＭＬファイル作成・編集ソフトやワープロ作成・編集ソフトに組み込まれて、あるいは画像処理ソフトウェアなどとして、ＣＤ−ＲＯＭやＦＤなどの可搬型の記憶媒体に格納され、あるいはネットワークを介して配布されてもよい。
【０１０７】
図１０は、テキストアート部分Ｇ２４を含む文書についての構造化文書を作成する際に、文字認識による認識精度が及ぼす影響を説明する図である。上記実施形態では、ＨＴＭＬファイルを文書情報として取り扱う事例を示したが、スキャナ装置９９０で読み取った文書画像を処理対象の電子文書として取り扱うことも可能である。本実施形態の構成によれば、テキストアート部分Ｇ２４の全体として認識し構造化文書を作成する。このため、文字認識による認識精度が多少不十分であっても、不都合が生じない。
【０１０８】
たとえば、図１０（Ａ）に示す元の文書原稿と図１０（Ｂ）に示す文字認識結果との間には多少の差があるが全体としては元のテキストアート部分Ｇ２４のレイアウトをほぼ保持している。上記実施形態の処理によれば、レイアウト重視でテキストアート部分Ｇ２４部分を認識し、構造化文書を作成するので、文字認識の影響を殆ど受けることなく、当該テキストアート部分Ｇ２４部分ついても的確な構造化文書を作成することができる。
【０１０９】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０１１０】
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０１１１】
たとえば、上記実施形態では、テキストアート候補認識処理部３３２は、始めに記号列で構成される文字列が出現した行から空白文字で構成される文字列が存在しない行までの該当文字列をテキストアート情報と認識する構成としていたが、始めに空白文字列行を含む記号文字列で構成される文字列が出現した行から空白文字で構成される文字列が存在しない行までの該当文字列をテキストアート情報と認識するものとしてもよい。この場合、図８に示した事例でいうと、１１行目から２０行目までの該当文字列をテキストアート情報と認識することとなる。
【０１１２】
また、空白文字列行をテキストアート部分から除外して、真のテキストアート部分のみの該当文字列をテキストアート情報と認識する構成としてもよい。
【０１１３】
【発明の効果】
以上のように、本発明によれば、文書情報から文字情報を抽出し、この抽出した文字情報から、文字配列で表される絵柄に意味を持つテキストアートを特定し、この特定したテキストアートの情報を参照して論理構造化文書を完成させることとした。これにより、テキストアート部分を的確に示す論理構造化文書を完成させることができるようになった。
【図面の簡単な説明】
【図１】本発明に係る文書情報処理装置の一実施形態を示すブロック図である。
【図２】文書情報処理装置が取り扱う電子文書の一例を示す図である。
【図３】図１の文書情報処理装置による処理手順の概要を示したフローチャートである。
【図４】文書情報処理装置の詳細を示すブロック図である。
【図５】図４に示した文書情報処理装置による処理手順を示したフローチャートである。
【図６】図４に示したテキストアート判定処理部の詳細を示すブロック図である。
【図７】テキストアート判定処理部とテキスト解析部による処理手順を示したフローチャートである。
【図８】文書情報処理装置のよる上記処理を行なう場合の具体的事例を示す図である。
【図９】コンピュータを用いて文書情報処理装置を構成する場合のハードウェア構成の一例を示した図である。
【図１０】テキストアート部分を含む文書についての構造化文書を作成する際に文字認識による認識精度が及ぼす影響を説明する図である。
【符号の説明】
１…文書情報処理装置、１００…電子文書入力部、２００…絵文字分離部、２１０…ＨＴＭＬタグ解釈部、２２０…テキスト抽出部、２３０…画像抽出部、３００…テキストアート取得部、３２０…テキストアート判定処理部、３２２…行分離処理部、３２４…文字種別判定部、３２６…記憶部、３３０…テキストアート特定処理部、３３２…テキストアート候補認識処理部、３３２ａ…記号列処理部、３３２ｂ…記号文字列処理部、３３４…テキストアート端部行特定部、３３６…テキストアート確定処理部、３４０…文字種情報保存処理部、３５０…電子画像化選択指示部、３６０…電子画像生成部、３８０…論理構造構築部、４００…テキスト解析部、５００…構造化文書生成部
【図１】
2004287992.tif 000003
【図２】
2004287992.tif 000004
【図３】
2004287992.tif 000005
【図４】
2004287992.tif 000006
【図５】
2004287992.tif 000007
【図６】
2004287992.tif 000008
【図７】
2004287992.tif 000009
【図８】
2004287992.tif 000010
【図９】
2004287992.tif 000011
【図１０】
2004287992.tif 000012