(57)【要約】【課題】文書の中の説明文と図表内のものとの対応関係がわかるような強調表現を行うことができるようにする。また、対応内容が複数ある場合、個々に識別できるような強調表示を行うことができるようにする。【解決手段】「オブジェクト」と「オブジェクトの説明文」の間を容易に行き来できるように、オブジェクトのリンク機能を実現しようとした場合に、前記リンク機能の付加対象となる「オブジェクト」と「オブジェクトの説明文」の部分にこのリンク機能の操作部品を配置し、容易に行き来する機能を付加する。この際に、「オブジェクトの説明文」が、「オブジェクト」内の特定の部分であることを検出すると、その両方に対して、文書の読者がその対応が分かるような、協調表示する対応表現情報を生成して追加する。【選択図】図１１
2013152564.tif 000002
【特許請求の範囲】
【請求項１】
イメージデータを含む複数ページの電子文書をページ単位でオブジェクトとオブジェクトの説明文との間に相互リンクを作成し、マルチページの電子文書を生成する文書処理装置であって、
前記イメージデータを分割して分割領域を得る領域分割手段と、
前記領域分割手段により得られた分割領域の属性を判定し、領域毎に文字属性を付加する属性情報付加手段と、
前記属性情報付加手段により文字属性が付加された領域内の文字を認識する文字認識手段と、
前記オブジェクトに付随するアンカー表現と、前記電子文書の本文中のアンカー表現またはオブジェクトの説明文との対応を調べて、前記オブジェクトと、前記本文中のアンカー表現またはオブジェクトの説明文との対応関係を保持するためのリンク情報を生成するリンク情報生成処理手段と、
前記リンク情報生成処理手段により生成されたリンク情報によって対応付けられた、オブジェクト内のテキスト表現と、前記本文中のオブジェクトの説明文との対応する部分に、対応を強調表現する対応表現情報を生成して追加する対応表現追加手段と、
前記リンク情報と前記対応を強調表現する対応表現情報を含む電子文書に変換するフォーマット変換手段とを有することを特徴とする文書処理装置。
【請求項２】
前記リンク情報生成処理手段は、イメージデータ及びオブジェクトに付随するアンカー表現と、本文中のアンカー表現及びアンカー表現を含むオブジェクトの説明文を抽出する手段を有することを特徴とする請求項１に記載の文書処理装置。
【請求項３】
前記フォーマット変換手段は、前記リンク情報を基に前記オブジェクトと、本文中のアンカー表現またはオブジェクトの説明文との相互リンクを実現するリンク情報と、前記対応を強調表現する対応表現情報とを含む電子文書に変換することを特徴とする請求項１に記載の文書処理装置。
【請求項４】
前記対応表現追加手段は、前記リンク情報を利用して、前記オブジェクト内のテキスト情報と、前記本文中のオブジェクトの説明文内のテキスト情報の比較を行い、前記本文中のオブジェクトの説明文が説明すると推定されるオブジェクト内の特定部分を得て、該オブジェクト内の特定部分と前記本文中のオブジェクトの説明文内の対応する部分に対して、その対応関係を容易に識別できるようにする強調表現方式やその特性を決定し、決定された強調表現方式や特性に基づき強調表現情報を生成することを特徴とする請求項１〜３の何れか１項に記載の文書処理装置。
【請求項５】
前記対応表現追加手段は、前記リンク情報を利用して、前記オブジェクト内のテキスト情報と、前記本文中のオブジェクトの説明文内のテキスト情報の単語列単位の比較を行い同一の単語列を得て、前記本文中のオブジェクトの説明文が説明すると推定されるオブジェクト内の特定部分を得て、前記オブジェクト内の特定部分と前記本文中のオブジェクトの説明文内の対応する部分に対して、その対応関係を容易に識別できるように、前記オブジェクト内の特定の部分内の同一単語列の構造的な関係も利用して、強調表現方式やその特性を決定し、それに基づき強調表現情報を生成することを特徴とする請求項１〜３の何れか１項に記載の文書処理装置。
【請求項６】
前記オブジェクトは、図、図面、写真、イラストの領域を含むことを特徴とする請求項１〜５の何れか１項に記載の文書処理装置。
【請求項７】
テキスト、図表および写真をオブジェクトとして電子文書の編集を行う文書処理装置であって、
文字入力の際に、過去に入力された内容を利用して、入力内容を予測して候補として表示を行い、利用者に選択させることで入力予測による文字入力を行わせる入力補完手段と、
前記入力予測による文字入力を行わせる際に、同一文書内のオブジェクト中のテキスト内容と比較を行い、同一のものが入力される可能性が高まった場合に、該当する可能性のある同一文書内の図表中のテキストを入力候補として提示し、前記提示した入力候補が選択された場合に、その対応関係をリンク情報として記録する記録手段と、
前記リンク情報を利用して、前記オブジェクト内のテキスト情報と、前記電子文書の本文中のオブジェクトの説明文内のテキスト情報の比較を行い、前記電子文書の本文中のオブジェクトの説明文が説明すると推定される前記オブジェクト内の特定の部分を得て、その対応関係を容易に識別できるようにする強調表現情報を生成する強調表現情報生成手段と、
前記リンク情報と強調表現情報を含む編集中の電子文書にデータとして格納する格納手段とを有することを特徴とする文書処理装置。
【請求項８】
前記格納手段は、前記リンク情報を基に前記オブジェクトと、本文中のアンカー表現またはオブジェクトの説明文との相互リンクを実現する前記リンク情報と強調表現情報を含む編集中の電子文書にデータとして格納することを特徴とする請求項７に記載の文書処理装置。
【請求項９】
前記強調表現情報生成手段は、前記リンク情報を利用して、前記オブジェクト内のテキスト情報と、前記本文中のオブジェクトの説明文内のテキスト情報の比較を行い、前記本文中のオブジェクトの説明文が説明すると推定されるオブジェクト内の特定の部分を得て、そのオブジェクト内の特定の部分と前記本文中のオブジェクトの説明文内の対応する部分に対して、その対応関係を容易に識別できるように強調表現方式やその特性を決定し、それに基づき強調表現情報を生成することを特徴とする請求項７または８に記載の文書処理装置。
【請求項１０】
前記強調表現情報生成手段は、前記リンク情報を利用して、前記オブジェクト内のテキスト情報と、前記本文中のオブジェクトの説明文内のテキスト情報の単語列単位の比較を行って同一の単語列を得て、前記本文中のオブジェクトの説明文が説明すると推定されるオブジェクト内の特定の部分を得て、そのオブジェクト内の特定の部分と前記本文中のオブジェクトの説明文内の対応する部分に対して、その対応関係を容易に識別できるように、前記オブジェクト内の特定の部分内の前記同一の単語列の構造的な関係も利用して、強調表現方式やその特性を決定し、それに基づき強調表現情報を生成することを特徴とする請求項７〜９の何れか１項に記載の文書処理装置。
【請求項１１】
前記オブジェクトは、図、図面、写真、イラストの領域であることを特徴とする請求項７〜１０の何れか１項に記載の文書処理装置。
【請求項１２】
イメージデータを含む複数ページの電子文書をページ単位でオブジェクトとオブジェクトの説明文との間に相互リンクを作成し、マルチページの電子文書を生成する文書処理方法であって、
前記イメージデータを分割して分割領域を得る領域分割工程と、
前記領域分割工程において得られた分割領域の属性を判定し、領域毎に文字属性を付加する属性情報付加工程と、
前記属性情報付加工程において文字属性が付加された領域内の文字を認識する文字認識工程と、
前記オブジェクトに付随するアンカー表現と、前記電子文書の本文中のアンカー表現またはオブジェクトの説明文との対応を調べて、前記オブジェクトと、前記本文中のアンカー表現またはオブジェクトの説明文との対応関係を保持するためのリンク情報を生成するリンク情報生成処理工程と、
前記リンク情報生成処理工程において生成されたリンク情報によって対応付けられた、オブジェクト内のテキスト表現と、前記本文中のオブジェクトの説明文との対応する部分に、対応を強調表現する対応表現情報を生成して追加する対応表現追加工程と、
前記リンク情報と前記対応を強調表現する対応表現情報を含む電子文書に変換するフォーマット変換工程とを有することを特徴とする文書処理方法。
【請求項１３】
テキスト、図表および写真をオブジェクトとして文書の編集を行う文書処理方法であって、
文字入力の際に、過去に入力された内容を利用して、入力内容を予測して候補として表示を行い、利用者に選択させることで入力予測による文字入力を行わせる入力補完工程と、
前記入力予測による文字入力を行わせる際に、同一文書内のオブジェクト中のテキスト内容と比較を行い、同一のものが入力される可能性が高まった場合に、該当する可能性のある同一文書内の図表中のテキストを入力候補として提示し、前記提示した入力候補が選択された場合に、その対応関係をリンク情報として記録する記録工程と、
前記リンク情報を利用して、前記オブジェクト内のテキスト情報と、前記本文中のオブジェクトの説明文内のテキスト情報の比較を行い、前記本文中のオブジェクトの説明文が説明すると推定される前記オブジェクト内の特定の部分を得て、その対応関係を容易に識別できるようにする強調表現情報を生成する強調表現情報生成工程と、
前記リンク情報と強調表現情報を含む編集中の電子文書にデータとして格納する格納工程とを有することを特徴とする文書処理方法。
【請求項１４】
イメージデータを含む複数ページの電子文書をページ単位でオブジェクトとオブジェクトの説明文との間に相互リンクを作成し、マルチページの電子文書を生成する文書処理方法の各工程をコンピュータに実行させるプログラムであって、
前記イメージデータを分割して分割領域を得る領域分割工程と、
前記領域分割工程において得られた分割領域の属性を判定し、領域毎に文字属性を付加する属性情報付加工程と、
前記属性情報付加工程において文字属性が付加された領域内の文字を認識する文字認識工程と、
前記オブジェクトに付随するアンカー表現と、前記電子文書の本文中のアンカー表現またはオブジェクトの説明文との対応を調べて、前記オブジェクトと、前記本文中のアンカー表現またはオブジェクトの説明文との対応関係を保持するためのリンク情報を生成するリンク情報生成処理工程と、
前記リンク情報生成処理工程において生成されたリンク情報によって対応付けられた、オブジェクト内のテキスト表現と、前記本文中のオブジェクトの説明文との対応する部分に、対応を強調表現する対応表現情報を生成して追加する対応表現追加工程と、
前記リンク情報と前記対応を強調表現する対応表現情報を含む電子文書に変換するフォーマット変換工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１５】
テキスト、図表および写真をオブジェクトとして文書の編集を行う文書処理方法の各工程をコンピュータに実行させるプログラムであって、
文字入力の際に、過去に入力された内容を利用して、入力内容を予測して候補として表示を行い、利用者に選択させることで入力予測による文字入力を行わせる入力補完工程と、
前記入力予測による文字入力を行わせる際に、同一文書内のオブジェクト中のテキスト内容と比較を行い、同一のものが入力される可能性が高まった場合に、該当する可能性のある同一文書内の図表中のテキストを入力候補として提示し、前記提示した入力候補が選択された場合に、その対応関係をリンク情報として記録する記録工程と、
前記リンク情報を利用して、前記オブジェクト内のテキスト情報と、前記本文中のオブジェクトの説明文内のテキスト情報の比較を行い、前記本文中のオブジェクトの説明文が説明すると推定される前記オブジェクト内の特定の部分を得て、その対応関係を容易に識別できるようにする強調表現情報を生成する強調表現情報生成工程と、
前記リンク情報と強調表現情報を含む編集中の電子文書にデータとして格納する格納工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
請求項１４または１５に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は文書処理装置及び文書処理方法に関し、特に、電子文書データの処理を行うために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、文書中の、「オブジェクト」（例えば、写真、図面、線画、表等）と「オブジェクトの説明文」（オブジェクトの説明や解説等を行う本文中の文章）を含む紙文書、または電子文書が広く利用されている。例えば、学術論文、特許、取扱説明書、商品カタログ等の説明調の文章を含む文書などである。
【０００３】
「オブジェクトの説明文」とは、主たる文章である本文の中で、前述の「オブジェクト」を説明・解説するもの（実際には、文章の内容を図式化したものがオブジェクトであることが多い）である。文書の作成者は、これら「オブジェクト」と「オブジェクトの説明文」を合せて、文書の閲覧者が利用することを意図して作成している。
【０００４】
そのため、それらの関係付けのために、「図１５」などの表現を使用することが多い。この「図１５」のように、「オブジェクト」と「オブジェクトの説明文」のそれぞれを関係づけるためのものを、「アンカー表現」と呼ぶ。また、「オブジェクト」自身の近傍に、その「オブジェクト」を説明する説明文があることが多く、これを「キャプション表現」と呼ぶが、これが「アンカー表現」を一緒に含んでいることが多い。
【０００５】
この場合の例を図１５（ａ）に示す。図１５中、１５０１は文書の１ページ目、１５０２は２ページ目であり、１５１１が文書の本文、１５１２が文書中の説明文に含まれるアンカー表現である。１５１３が文書中のオブジェクトである表、１５１４がその表オブジェクトのキャプション表現で、１５１５がそのキャプション表現中のアンカー表現である。
【０００６】
文書の閲覧者は、「オブジェクト」と「オブジェクトの説明文」の相互の対応関係を考慮し、読み進める必要がある。そのため、閲覧者は、本文中に「Table．１は・・・」という文章を見た場合、文書内から「Table．１」に対応するオブジェクトを探して確認したのち、再び本文の元の位置に戻り、続きを読み始めることになる。
【０００７】
一方、本文中に「Table．１」というアンカー表現を持つオブジェクトを見た場合には、本文中より「Table．１」について説明された文章を探すことになる。そして、説明文を読んで確認した後、再び元のページに戻り続きを読み進める。複数ページ文書の場合、本文中の「Table．１は・・・」に対応するオブジェクトを探したり、「Table．１」で示されるオブジェクトに対応する本文中の説明文を探したりする場合に、ページをまたがって参照する必要が出てくる。このため、可読性が良くない問題点があった。また、本文中の説明文は探しにくい上、複数個所で書かれているなど、閲覧者が全てを確認するのは困難である場合もあった。
【０００８】
そこで、この「オブジェクト」である「図」と「アンカー表現」である「図番号」のハイパーテキスト化を行って電子文書を生成する。これにより、例えば、本文中の「図番号」をマウス等でクリックすると、「図番号」に該当する図を画面表示させるなどの機能を保有させることができる。また、紙文書を光学的に読み取った電子文書において、その文書の解析を行うことで、この機能を付加することが考えられる。
【０００９】
特許文献１では、そのアンカー表現を保有する「オブジェクトの説明文」を抽出し、また、図などの「オブジェクト」の「アンカー表現」を抽出して関係づける。これにより、「オブジェクトの説明文」を検索用のメタデータとして、その「オブジェクト」の検索を可能としている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０００−３３１０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
そこで、これを利用して、これらの間を容易に行き来できる操作を可能とする機能（以下、これを「オブジェクトのリンク機能」という）を、電子文書とその文書の説明文などに追加する。これにより、図などを使用した文書でも、本文と図の内容を容易に読んだり確認したりすることが可能となる。
【００１２】
すなわち、「オブジェクトの説明文」もしくはその中の「アンカー表現」と「オブジェクト」の関係と、その出現位置の情報を抽出して、このオブジェクトのリンク機能を作り出すのである。図１５の１５２１、１５２２が、これを付加した場合のものである。「本文中の説明文」の中の「アンカー表現」１５１２に対して、操作機能１５２１が付加されている。
【００１３】
これをマウス等でクリックすると、２ページ目の１５０２に表示部分が移動し、１５１３の図が強調表示されるなどして、その部分が該当部分であることが示される。同様に、「オブジェクト」１５１３に付加されている操作機能１５２２をマウス等でクリックすると、１ページ目の１５０１に表示部分が移動する。そして、１５１２の「アンカー表現」やそれを含む「オブジェクトの説明文」の部分が強調表示されるなどして、その部分が該当部分であることが示される。
【００１４】
しかし、「オブジェクトの説明文」での説明内容は、「オブジェクト」全体に関するものよりは、むしろ、その一部などの特定部分に対して、説明を行う場合がよくある。すなわち、図の中の特徴的な部分や、表の中の一部の着目してほしい部分があり、その部分に対して説明を行っていることが多い。
【００１５】
そのため、前述のハイパーテキスト化を行って電子文書とした場合でも、移動した「オブジェクト」の中にある「オブジェクトの説明文」で示された部分を探す作業が発生してしまう。また、「オブジェクトの説明文」は、「オブジェクト」内の複数の部分に対して、個々に説明する文章だった場合、何度も、「オブジェクト」の表示と「オブジェクトの説明文」との間を移動して、文書を読むことになる。
【００１６】
その際に、何度も「オブジェクトの説明文」で示された部分を探す作業が発生してしまう可能性がある。特に、「オブジェクト」が表などの場合においては、着目している部分以外が記載されているので、この傾向が顕著である。
このような機能は、文書を作成する利用者が、文書編集装置などを用いて、強調表示そのものを作成するのが一般的である。
【００１７】
特許文献１のように、図面などで、その中の記載内容に関する記事形式や規則が明確な場合は、自動的に強調表現を追加するものはあった。しかし、通常の文書などにおいて、その文書の中の本文たる説明文と図表内の該当部分の対応を示し、かつ、説明文が複数ある場合や、その図表内の該当部分の違いを明確にできるような強調表現を追加するものはなかった。
本発明は前述の問題点に鑑み、文書の中の説明文と図表内のものとの対応関係が明確にわかる強調表現を行うことができるすることを目的とする。
【課題を解決するための手段】
【００１８】
本発明の文書処理装置は、イメージデータを含む複数ページの電子文書をページ単位でオブジェクトとオブジェクトの説明文との間に相互リンクを作成し、マルチページの電子文書を生成する文書処理装置であって、前記イメージデータを分割して分割領域を得る領域分割手段と、前記領域分割手段により得られた分割領域の属性を判定し、領域毎に文字属性を付加する属性情報付加手段と、前記属性情報付加手段により文字属性が付加された領域内の文字を認識する文字認識手段と、前記オブジェクトに付随するアンカー表現と、前記電子文書の本文中のアンカー表現またはオブジェクトの説明文との対応を調べて、前記オブジェクトと、前記本文中のアンカー表現またはオブジェクトの説明文との対応関係を保持するためのリンク情報を生成するリンク情報生成処理手段と、前記リンク情報生成処理手段により生成されたリンク情報によって対応付けられた、オブジェクト内のテキスト表現と、前記本文中のオブジェクトの説明文との対応する部分に、対応を強調表現する対応表現情報を生成して追加する対応表現追加手段と、前記リンク情報と前記対応を強調表現する対応表現情報を含む電子文書に変換するフォーマット変換手段とを有することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、相互リンクを利用した場合に、対応する部分を直観的にわかりやすく示すことが可能となり、対応する部分を探す手間を省くことができ、文書の可読性を向上させることが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る画像処理システムの一例を示すブロック図である。
【図２】図１におけるＭＦＰの詳細な構成例を示すブロック図である。
【図３】図２のデータ処理部の構成例を示すブロック図である。
【図４】本発明の実施形態で説明に使用するイメージデータの例を示す図である。
【図５】図４内の拡張域を指定できるようにした図である。
【図６】本実施形態で使用される電子文書データの例を示す図である。
【図７】（ａ）はリンク処理部の詳細図、（ｂ）は対応表現追加部の詳細図である。
【図８】本発明の実施形態で行われる処理全体の手順を示すフローチャートである。
【図９】対応表現の情報を生成して格納する処理を示すフローチャートである。
【図１０】抽出されたリンク情報、および抽出された対応表現の一例を示す図である。
【図１１】対応表現を追加して、リンク機能が利用可能になった状態の図である。
【図１２】文書を作成中の画面、および説明用に領域に分けた内容を示す図である。
【図１３】入力を予測した補完候補を表示している状態の画面の例を示す図である。
【図１４】第２の実施形態における処理手順を示すフローチャートである。
【図１５】本発明の背景技術を示し、リンク機能が付いている文書を示す図である。
【発明を実施するための形態】
【００２１】
（第１の実施形態）
以下、本発明を実施するための最良の実施形態について図面を用いて説明する。
図１は、本実施形態の文書処理システムの構成例を示すブロック図である。
図１において、オフィスＡ内に構築されたＬＡＮ１０２には、複数種類の機能（複写機能、印刷機能、送信機能等）を実現する複合機であるＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００が接続されている。
【００２２】
ＬＡＮ１０２は、プロキシサーバ１０３を介して外部のネットワーク１０４にも接続されている。クライアントＰＣ１０１はＬＡＮ１０２を介してＭＦＰ１００からの送信データを受信したり、ＭＦＰ１００が有する機能を利用したりする。例えば、クライアントＰＣ１０１は、印刷データをＭＦＰ１００へ送信することで、その印刷データに基づく印刷物をＭＦＰ１００で印刷することもできる。なお、図１の構成は一例であり、オフィスＡと同様の構成要素を有する、複数のオフィスがネットワーク１０４上に接続されていてもよい。
【００２３】
また、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等で実現される通信ネットワークである。これは、データの送受信が可能なものであれば、何でもよい。また、クライアントＰＣ１０１、プロキシサーバ１０３の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素を有している。例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等である。
【００２４】
図２は、本実施形態の画像処理装置であるＭＦＰ１００の詳細構成を示すブロック図である。図２に示したＭＦＰ１００は、画像入力デバイスであるスキャナ部２０１と、画像出力デバイスであるプリンタ部２０２と、ＣＰＵ２０５等で構成される制御ユニット２０４と、ユーザインタフェースである操作部２０３等を有する。
【００２５】
制御ユニット２０４は、スキャナ部２０１、プリンタ部２０２、操作部２０３と接続し、一方では、ＬＡＮ２１９や一般の電話回線網である公衆回線（ＷＡＮ）２２０と接続することで、画像情報やデバイス情報の入出力を行うコントローラである。ＣＰＵ２０５は、制御ユニット２０４に含まれる各ユニットを制御する。ＲＡＭ２０６はＣＰＵ２０５が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。
【００２６】
ＲＯＭ２１０はブートＲＯＭであり、システムのブートプログラム等のプログラムが格納されている。記憶部２１１はハードディスクドライブで、システム制御ソフトウェア、画像データを格納する。操作部Ｉ／Ｆ２０７は操作部（ＵＩ）２０３とのインターフェース部で、操作部２０３に表示するための画像データを操作部２０３に対して出力する。また、操作部Ｉ／Ｆ２０７は操作部２０３から本画像処理装置の使用者が入力した情報を、ＣＰＵ２０５に伝える役割をする。
【００２７】
ネットワークＩ／Ｆ２０８は本画像処理装置をＬＡＮ２１９に接続し、パケット形式の情報の入出力を行う。モデム２０９は本画像処理装置をＷＡＮ２２０に接続し、データの復調・変調を行うことにより情報の入出力を行う。以上のデバイスがシステムバス２２１上に配置される。
【００２８】
イメージバスＩ／Ｆ２１２はシステムバス２２１と画像データを高速で転送する画像バス２２２とを接続し、データ構造を変換するバスブリッジである。画像バス２２２は、例えば、ＰＣＩバスやＩＥＥＥ１３９４で構成される。画像バス２２２上には以下のデバイスが配置される。ラスターイメージプロセッサ（ＲＩＰ）２１３は、ＰＤＬ（ページ記述言語）コードを解析し、指定された解像度のビットマップイメージに展開する、いわゆるレンダリング処理を実現する。
【００２９】
この展開をする際には、各画素単位あるいは領域単位で属性情報が付加されることになる。これを像域判定処理と呼ぶ。像域判定処理により、画素毎にあるいは領域毎に、文字（テキスト）や線（ライン）、グラフィクス、イメージ等といったオブジェクト種類を示す属性情報が付与される。例えば、ＰＤＬコード内のＰＤＬ記述のオブジェクトの種類に応じて、ＲＩＰ２１３から像域信号が出力され、その信号値で示される属性に応じた属性情報が、オブジェクトに対応する画素や領域に関連づけて保存される。したがって、画像データには、関連づけられた属性情報が付属している。
【００３０】
デバイスＩ／Ｆ２１４は、信号線２２３を介して画像入力デバイスであるスキャナ部２０１、信号線２２４を介して画像出力デバイスであるプリンタ部２０２、をそれぞれ制御ユニット２０４に接続し、画像データの同期系／非同期系の変換を行う。スキャナ画像処理部２１５は、入力画像データに対し補正、加工、編集を行う。プリンタ画像処理部２１６は、プリンタ部２０２に出力すべきプリント出力画像データに対して、プリンタ部２０２に応じた補正、解像度変換等を行う。画像回転部２１７は入力された画像データが正立するように回転を行い出力する。データ処理部２１８については後述する。
【００３１】
次に、図３を用いて、図２のデータ処理部２１８の詳細について説明を行う。データ処理部２１８は、領域分割部３０１、属性情報付加部３０２、文字認識部３０３、リンク処理部３０４、対応表現追加部３０５、フォーマット変換部３０６から構成される。データ処理部２１８は、スキャナ部２０１でスキャンしたイメージデータ３００が入力されてくると、各処理部３０１〜３０６で処理を行うことにより、電子文書データ３１０を生成して出力する。
【００３２】
領域分割部３０１には、図２のスキャナ部２０１でスキャンされたイメージデータ、あるいは記憶部２１１に保存されている過去に入力されたイメージデータ（文書画像）が入力される。そして、文字、写真、図表、イラスト等のような、そのページ内に配置されたオブジェクトの領域（オブジェクト領域）を抽出するために、データ中の画素の抽出・グループ化等の処理を行う。
【００３３】
領域分割部３０１で行う領域抽出方法（領域分割方法）としては公知の方法を用いればよい。
一例を説明すると、まず、入力画像を２値化して２値画像を生成し、２値画像を低解像度化して間引き画像（縮小画像）を作成する。例えば、１／（Ｍ×Ｎ）の間引き画像を作成する際には、２値画像をＭ×Ｎ画素毎に分割し、Ｍ×Ｎ画素内に黒画素が存在すれば縮小後の対応する画素を黒画素とし、存在しなければ白画素とすることにより、間引き画像を作成する。
【００３４】
次に、間引き画像において黒画素が連結する部分（連結黒画素）を抽出して当該連結黒画素に外接する矩形を作成していく。文字画像サイズに近い矩形（１文字の矩形）が並んでいる場合や、縦横のどちらかが文字画像サイズに近い矩形（数文字が繋がった連結黒画素の矩形）で短辺の近くに同様の矩形が並んでいる場合は、１つの文字行を構成している文字画像である可能性が高い。この場合は矩形同士を結合して、１つの文字行を表す矩形を得る。そして、１つの文字行を表す矩形の短辺の長さがほぼ同じで、列方向にほぼ等間隔に並んでいる矩形の集合は、本文部である可能性が高いので結合して本文領域を抽出する。また、写真領域や図領域や表領域は、文字画像よりも大きいサイズの連結黒画素により抽出される。
【００３５】
属性情報付加部３０２は、領域分割部３０１で分割された分割領域毎に属性を付加する。図４の入力イメージデータの例として処理動作を説明する。説明しやすいように、図４内の拡張域を指定できるようにした図が、図５（ａ）である。
図５（ａ）中の領域５０６は、そのページ内で文字数や行数がある程度あり、文字数、行数、段落等の形態を保有する点から、総合的に判定して、『本文』の文字属性を付加することになる。残りの領域については、まず、文字画像サイズに近い矩形が含まれている領域か否かを判断する。
【００３６】
特に、文字画像が含まれている領域は、領域内で文字画像の矩形が周期的に現れるので、分割領域内に文字が含まれている領域であるか否かを判断することができる。その結果、領域５０１、表５０２中の５１１から５１８、領域５０７、領域５０３中の領域５０４、領域５０５は文字が含まれる領域として『テキスト領域』の属性を付加する。ただし、こちらは、文字数、行数、段落等の形態を持たない点から、『本文』の属性は付加されないことになる。
【００３７】
一方、それ以外の領域については、領域の大きさが非常に小さければ『ノイズ』と判定する。また、画素密度が小さい連結黒画素について、その内部の白画素輪郭追跡を行ったときに、その白画素輪郭の外接矩形が整然と並んでいる場合は当該領域を『表』と判断し、整然と並んでいない場合は『線画』と判断する。それ以外の画素密度の高いものは絵や写真であるとして『写真』の属性を付加する。これにより、領域５０２は『表』、領域５０３は『写真』と判断される。
【００３８】
さらに、表の領域については、その中のテキスト領域の位置的な関係と配置の規則性から、各テキスト領域に対して表内の属性を付加していく。これにより、テキスト領域５１２と５１４は『列ラベル』、テキスト領域５１１と５１５は『行ラベル』、テキスト領域５１３、５１６、５１７、５１８は『値』を付加する。
【００３９】
更に、本文でないと判断された文字領域については、『表』、『線画』、『写真』が付加された領域の近傍（領域の上または下）に存在する場合、当該『表』、『線画』、『写真』の領域を説明する文字領域であると判断し、『キャプション』の属性を付加する。なお、『キャプション』を付加する領域は、その『キャプション』が付随する領域（『表』、『線画』、『写真』）を特定できるように、付随する領域と関連付けて保存する。これにより、表５０２に対して文字領域５０７を、写真の領域５０３に対して文字領域５０５を、それぞれキャプションとして、関連付けて保存する。
【００４０】
また、テキスト領域について、本文部の文字画像より大きく、本文部の段組とは異なる位置にあれば『見出し』の属性を付加する。また、本文部の文字画像より大きく、本文部の段組の上部に存在すれば、属性を『小見出し』とする。更に、本文部の文字画像のサイズ以下の文字画像で、原稿の下端部や上端部に存在すれば『ページ』（もしくは、「ページヘッダ」、「ページフッタ」）の属性を付加する。また、テキスト領域として判断されたが、『本文』、『見出し』、『小見出し』、『キャプション』、『ページ』のどれにも当てはまらなかった場合、『テキスト』の属性のまま残ることになる。
【００４１】
文字認識部３０３は、文字画像を含む領域（『テキスト』、『本文』、『見出し』、『小見出し』、『キャプション』領域）について、公知の文字認識処理を実行し、その結果となる文字コード列を文字情報として格納するとともに対象領域に関連付けを行う。
【００４２】
このように、領域分割部３０１、属性情報付加部３０２、文字認識部３０３において抽出された、領域の位置や大きさや領域属性の情報、ページの情報、文字認識結果の文字情報（文字コード情報）等は、図２の記憶部２１１に保存される。
【００４３】
図５（ｂ）は、図４の入力イメージデータ例を処理した場合に、図２の記憶部２１１に保存される情報の例を示す。図５の５０４については、これが、写真や図の文字画像の領域なので、『５０３の写真内』の属性が追加されており、これを図５（ｂ）の５０４で示されているとおりである。また、その表である表５０２の中については、表の内部構造情報として、図２の記憶部２１１に保存される情報を、図５（ｃ）に示す。
【００４４】
リンク処理部３０４は、属性情報付加部３０２で検出されたキャプション付随オブジェクト（例えば、『表』、『線画』、『写真』）と「本文中の説明表現」の間にリンクを作成するために必要な情報を生成し、図２の記憶部２１１に保存する。リンク処理部３０４の詳細については後述する。
【００４５】
対応表現追加部３０５は、リンク処理部３０４で作成されたリンク情報をもとに、この部分の操作を行う場合に、そのリンクによって対応づけられた本文の部分と図表の部分についての操作時の表現を追加する処理を行う。図表を用いて説明を行う本文と、その本文で着目すべき図表内の領域や部分の対応を強調する表現方法を決定し、そのリンク選択時や操作時などに表示される内容として、リンク情報と関連するように対応表現情報を生成し、図２の記憶部２１１に保存する。対応表現追加部３０５の詳細については後述する。
【００４６】
フォーマット変換部３０６は、入力されたイメージデータ３００、領域分割部３０１、属性情報付加部３０２、文字認識部３０３、リンク処理部３０４から得られた情報（例えば、ページ情報、領域の位置や大きさ、属性、文字情報、メタデータ）を用いる。そして、これらから、所定の電子文書フォーマット（例えば、ＰＤＦ、ＳＶＧ，ＸＰＳ、ＯｆｆｉｃｅＯｐｅｎＸＭＬ等）へ変換する。フォーマット変換で生成される電子文書は、グラフィックス等によるページ表示情報（表示用画像等）と、文字等の意味記述による内容情報（メタデータ等）を含むことになる。
【００４７】
フォーマット変換部３０６の処理は、大きく２つある。１つは、画像領域に対して、平坦化やスムージング、エッジ強調、色量子化、２値化等のフィルタ処理を施し、画像データ（例えば、『線画』属性が付与された領域に対応する部分の画像）を所定の電子文書フォーマットに格納できるものにすることである。
【００４８】
実際には、画像データを、ベクトルパス記述のグラフィックスデータ（ベクトルデータ）や、ビットマップ記述のグラフィックスデータ（例えばＪＰＥＧデータ）にすることである。ベクトルデータへ変換する技術は公知のベクトル化技術を用いることが可能である。また、『文字』領域部分に対しては、２値による画像切り出し処理と、イメージデータ３００からの画素消去処理などを行い、文字認識の結果である文字コードを利用した文字描画のグラフィックスデータを作成する。
【００４９】
特に、文字画像の正確さが必要な特殊なフォントや文字飾り、大きな文字の『文字』領域部分に対しては、画像データ同様にベクトルパス記述やビットマップ記述でのグラフィックスデータを作成する。また、オブジェクト検索時に、リンク使用・操作時や検索結果を特定・強調する際に表示される枠などのグラフィックス記述（ベクトルパス記述）を生成することも行う。そして、それらに対して、図２の記憶部２１１に保管されている領域情報（位置、大きさ、属性）、領域内の文字情報から、所定の電子文書フォーマットの電子文書を作成するのである。
【００５０】
このようにして生成される電子文書データ３１０の例を図６に示す。図６は、図４のイメージデータ４００の例を処理した場合に、図２の記憶部２１１に保存された図５（ａ）と（ｂ）のようなデータに基づいて、ＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）フォーマットで記述を行った場合の例である。
【００５１】
図６の電子文書データ６００において、記述６０１〜６０６は、それぞれ図５（ａ）の領域５０１〜５０６に対するグラフィックス記述である。ここで、６０１、６０４、６０５および６０６は文字コードによる文字描画記述の例である。
６０２は、表５０２に対応するもので、表を記述したものである。その内には、５１１から５１８までのテキスト領域の文字コードによる文字描画記述の例（実際には、５１１から５１３以外に対応するものは省略されている）である。６０３は切り出し処理された写真画像を貼り付ける記述の例である。これらはページ内の記述であるため、６１１と６１２で、個々のページに分けて記述できるようになっている。また、６１３には別のページの内容が記述されている。
【００５２】
本実施形態の電子文書では、簡単な関数型のプログラミング言語における、操作機能などの追加ができるようになっており、６２１や６２２が、その記述例となっている。６２１は、例えば図１５の操作機能１５２１のようなリンク機能を提供する部分で、その識別情報が「Ｌｉｎｋ１ＦｒｏｍＳｅｎｔｅｎｃｅ１ＴｏＴａｂｌｅ１」になっているものが利用者の操作などにより選択された場合の表示・動作を記す部分である。
【００５３】
個々には、関数「ＤｉｓｐｌａｙＦｒｏｍＳｅｎｔｅｎｃｅ１ＴｏＴａｂｌｅ１」という名前のプログラム・モジュール（関数）が呼び出されて処理されることが示されている。６２２では、その関数「ＤｉｓｐｌａｙＦｒｏｍＳｅｎｔｅｎｃｅ１ＴｏＴａｂｌｅ１」の中で行われる処理が前述の関数型プログラミング言語で記述されている(その中身は省略表現されている)。このようにして、リンク機能は、この電子文書の利用する際に、これらの関数型のプログラム言語で記述されたプログラムが実行されることにより、実現されるのである。
【００５４】
なお、ここではＳＶＧを例として説明したが、出力フォーマットはＳＶＧに限定されるものではなく、ＰＤＦ、ＸＰＳ、Ｏｆｆｉｃｅ Ｏｐｅｎ ＸＭＬ、その他のＰＤＬ系のデータ形式等に変換してもよい。
【００５５】
図７（ａ）は、図３のリンク処理部３０４の構成例を示すブロック図である。以下、７
０１〜７０５の機能について説明する。ここで行われる処理は、図３の領域分割部３０１から文字認識部３０３で作成され、図２の記憶部２１１に格納された、イメージデータ７１０、図５（ａ）で示されるテキスト内容や図表に関する領域情報７１１と文字情報７１２を利用して行われる。
【００５６】
リンク情報付与対象選択処理部７０１は入力されたイメージデータに対して、リンク情報生成を行う対象としてキャプション付随オブジェクトとそのテキスト内容を選択する。
アンカー表現抽出処理部７０２は、リンク情報付与対象選択処理部７０１で選択されたキャプション付随オブジェクトに対応付けされたキャプション領域の文字情報を解析し、アンカー表現を抽出する。
【００５７】
ここで、キャプション領域の文字情報を解析し、その中からアンカー表現（例えば、「図１」、「Table．１」等）を探して、見つかった場合には、その該当部分をアンカー表現、それ以外の部分をキャプション表現として抽出する。また、文字コードの特性や辞書等を含むことで、有意でない文字列（無意味な記号列等）を排除する機能も有する。
【００５８】
これは、文書のテキスト部分の境界に現れる飾りや、分割線、画像を文字として解釈するような文字認識の誤認識等に対応するためである。また、アンカー表現を抽出するために、図番号等の多言語の文字列パターンや、それに対する文字認識の誤認識パターンを保有することで、アンカー表現の抽出精度と、アンカー表現の文字補正を行うことが可能である。また、キャプション表現に対しても、同様である。すなわち、自然言語処理での解析や、文字認識の誤認識補正等を行うことが可能で、アンカー表現との境目や、先頭・末尾に現れる記号や文字飾り等を補正して排除したりする機能を持たせることも可能である。
【００５９】
本文内アンカー表現検索処理部７０３は、アンカー表現抽出処理部７０２のアンカー表現抽出処理で抽出されたアンカー表現（例えば、「図１」、「Table．１」等）を文書の本文内から検索する。そして、オブジェクトに対応する本文中のアンカー表現として検出する処理を行う。これにより、アンカー表現を含みオブジェクト内の説明を行っている本文中の説明表現をオブジェクトの説明表現候補として検出する。
【００６０】
ここでは、検索を高速化するための、検索用インデックス（インデックス作成とそれを利用した高速検索の技術は公知のインデックス作成・検索技術を用いることが可能である）を作成することが可能である。また、複数のアンカー表現の特定文字列で一括検索をすることで、高速化を実現することも可能であり、こちらの方がより効果的である。また、本文中の説明表現に対しても、それだけでなく、図番号等の多言語の文字列パターンや、図番号等の表記ゆれの文字パターンや、それらに対する文字認識の誤認識パターンを保有する。そして、これらを用いた曖昧検索を行うことで、検索精度の向上、および補正を行う機能の提供が可能である。
【００６１】
リンク情報生成処理部７０４は、リンク情報付与対象選択処理部７０１で選択されたキャプション付随オブジェクトや、本文内アンカー表現検索処理部７０３で検索・抽出された本文中のアンカー表現と図や写真の間にリンクを生成するために必要な情報を作成する。リンク情報には、リンクそのものの位置とそれらの関係等が必要になる。本発明では、アンカー表現の位置情報を得るための、文字の位置情報をそのまま格納せず、段落などの単位でまとめて、すなわち、その中の文字の外接矩形をもとめて、その位置情報だけを蓄積するようにしている。
【００６２】
それ以外の情報と合わせて、実際にリンクを生成するようにする処理をプログラミング言語で記述したものをリンク処理制御部７０５が作成し、電子文書内に格納する。そして、電子文書の利用時に、この、プログラミング言語で記述した処理が、これらの情報をもとに、リンク機能を動的に生成し、そのリンク機能が、利用者に利用可能となる。これらの詳細については後述する。ここでは、図や写真と本文中に記述されているアンカー表現の間のリンク作成のための情報を生成する。
【００６３】
リンク処理制御部７０５は、リンク情報生成処理部７０４でリンク生成に必要な情報を生成し、蓄積する処理を行う。ここで蓄積する際に、リンク生成用のプログラミング言語で記述した処理や、リンク生成に必要なグラフィックスなどの情報などを、電子文書の記述フォーマットやプログラミング言語の仕様に応じて生成を行い、その結果を蓄積する。また、ここで、必要に応じて、予め決められたリンクのトリガーやリンクアクション設定をもとに、生成を行い蓄積される。
【００６４】
このようにして、リンク情報は生成され、その結果を、リンク情報７１３として、図２の記憶部２１１に格納する。また、リンク処理制御部７０５は、これら７０１から７０４の各機能を連携・制御させる機能を提供するものである。
なお、リンク処理部３０４の内の各部分である図７（ａ）の各処理部７０１〜７０５の動作については、後述の処理手順の説明の中で、再度説明する。
【００６５】
図７（ｂ）は、図３の対応表現追加部３０５の構成例を示すブロック図である。以下、７２１〜７２５の機能について説明する。ここで行われる処理は、図３の３０１から３０４で作成され、図２の記憶部２１１に格納された、イメージデータ７１０、図５（ａ）で示されるテキストや図表に関する領域情報７１１と文字情報７１２、リンク情報７１３を利用して行われる。
【００６６】
本文内アンカー近傍テキスト抽出部７２１は、リンク情報７１３を取り出し、その中にあるアンカー表現間のリンクから、本文中のアンカー表現の場所と、図表などの対応するキャプションを得る。これから、アンカー表現を含む本文中から、アンカー表現の近傍のテキスト情報を抽出する処理を行う。
【００６７】
ここで、抽出するテキスト情報は、本文中のアンカー表現を含む文もしくは段落程度のものであり、そのテキストの長さ・文字数や代名詞等の他の文への参照表現の含有状況などから、適度なテキストの長さ・文字数を決めて、それを目安に抽出を行う。逆に、文があまりに長い場合などには、単純に前述の目安に従い、近傍のテキストを切り出す場合もある。このようにして、アンカー表現を含む本文中から、アンカー表現の近傍のテキスト情報を抽出する機能を提供する。ここで抽出されたテキストを、本文内アンカー近傍テキストと呼ぶこととする。
【００６８】
本文内テキスト・図表内テキスト検索部７２２は、本文内アンカー近傍テキスト抽出部７２１で抽出された本文内アンカー近傍テキスト内の単語や文字列と、リンクにより対応する図表内のテキストに同一の単語列や文字列が含まれているものを検索する。検索方法は、単語列単位の比較や、自然言語処理での形態素解析による単語の抽出で得られた単語を得て検索を行う方法などが考えられる。
【００６９】
また、図表内テキストは、図表内の項目などであることが多いため、文や段落よりは、単語や短文などが多いことが容易に予想できる。したがって、検索・比較を行う際に、こちらを検索・比較のキーとする方が効果的であることも考えられる。本発明の実施形態では、どのような方法でもよい。何れにしろ、ここでは、リンクにより対応する図表内のテキストに出現する同一のテキスト表現を抽出する機能を提供する。そして、この結果として、本文内アンカー近傍テキスト内の単語や文字列と、リンクにより対応する図表内のテキストに同一のテキスト表現を抽出する。これを対応表現と呼ぶこととする。
【００７０】
対応表現内容決定部７２３は、本文内テキスト・図表内テキスト検索部７２２で得られた対応表現をもとに、これらに対して、どのような強調表現などを行うのがよいかを決定する処理を行う。１つの図表に対して、複数のリンクがある場合があり、かつ、１つのリンク情報に対して、複数の対応表現がある場合がある。そして、それらの対応表現には、同じ内容のテキスト表現が含まれることがある。ここでは、このような関係をもとに、利用者にとって、個々のリンクについて、そのリンクの違いと本文中と図表中にある対応表現の違いが明確になるように、強調表現の選択を行う。
【００７１】
基本的には、リンク表示・使用時に、そのリンクでの対応表現同士に対しては、同一の強調表現パターンを用いる。また、同一図表に対する複数のリンクにおいて、同一の対応表現がある場合には、なるべく同じ強調表現を用いるようにする。また、対応表現が、表内の行や列のラベル（名前）等や、図中の出現場所の近さなどに応じて、これらを対応表現の属性とみなして、同一の強調表現パターンを用いるようにする。
【００７２】
ここでいう、強調表現のパターンとは、文字の下線や囲み、色、フォントの変更、文字を太くしたりするものから、文字を点滅させたり、揺らしたり、色を時間的に変更したりするような、動きのある表現でも構わない。当然、これらの組合せも含むものとする。そして、個々の強調表現としては、これらの各パターンにおいて、下線や囲み、文字の太さなどの度合いや、配色など、同一の強調パターンであっても、さまざまな設定や値があり、それらを変化させることが可能である。このようにして、各リンクの対応表現に対する強調表現を選択していく。これにより、リンク表示・利用時に、対応する本文中の表現と図表中の表現の出現位置と、その対応状況を容易に利用者に示せるような強調表現を決定する機能を提供する。
【００７３】
対応表現追加処理部７２４は、個々のリンク情報に対応するように、対応表現内容決定部７２３で決定された対応表現に対する強調表現情報生成処理を行い、蓄積する機能を提供する。ここで蓄積する際に、リンク生成用のプログラミング言語で記述した処理や、リンク生成に必要なグラフィックスなどの情報などを、電子文書の記述フォーマットやプログラミング言語の仕様に応じて生成を行い、その結果を蓄積する。また、ここで、必要に応じて、予め決められたリンクのトリガーやリンクアクション設定をもとに、生成を行い蓄積される。
【００７４】
このようにして、対応表現情報は生成され、その結果を、７１４の対応表現情報として、図２の記憶部２１１に格納する。また、対応表現追加制御部７２５は、これら７２１から７２４の各機能を連携・制御させる機能を提供するものである。
なお、対応表現追加部３０５の内の各部分である図７（ｂ）の各部７２１〜７２５の動作については、後述の処理手順の説明の中で、再度説明する。
最終的には、ここで生成されたものが、図３のフォーマット変換部３０６に出力され、電子文書データ３１０の中に格納されることになる。
【００７５】
次に、実施形態の文書処理システムで実行する処理全体の概要を、図８のフローチャートを用いて説明する。図８及び図９に示すフローチャートは、図２のデータ処理部２１８（図３の各処理部３０１〜３０６）によって実行されるものとする。本実施形態では、図２のＣＰＵ２０５が記憶部２１１（コンピュータ読取可能な記憶媒体）に格納されたコンピュータプログラムを読み取り実行することによって、データ処理部２１８（図３の各処理部３０１〜３０６）として機能するものとする。しかし、これに限るものではなく、例えば、図２のデータ処理部２１８（図３の各処理部３０１〜３０６）を、電子回路等のハードウェアで実現するように構成してもよい。
【００７６】
図８は、図１のＭＦＰ１００で入力された複数ページのイメージデータを、複数ページからなる電子文書データに変換する処理のフローチャートである。なお、複数ページのイメージデータとしては、例えば、図４のページ画像が入力されるものとする。以下、図８のフローチャートの各説明を行う。
【００７７】
Ｓ８０１において、図７（ａ）のリンク処理制御部７０５は、以降の処理のための初期化処理と、図３のフォーマット変換部３０６が電子文書の作成をできるようにするための準備の処理を行う。
【００７８】
Ｓ８０２において、図４のページ画像が図２の記憶部２１１に格納されているので、この中から処理対象となるページを、ページの先頭から順番に選んでいく処理を行う。これを行い、Ｓ８０７での条件分岐を利用してループ処理の形態とすることで、Ｓ８０２からＳ８０６までの処理を、各ページに施すことを可能としている。したがって、最初にこの処理を行った場合は先頭ページが選ばれ、以後、この処理が行われるたびに、その次のページが選ばれ、その選ばれたページの中のイメージデータ（図３の３００、図７の７１０）が以後の処理の対象となる。
【００７９】
Ｓ８０３において、領域分割部３０１は、Ｓ８０２で選択された１ページ分のイメージデータから領域を抽出する領域分割を行う。例えば、図４のイメージデータ４００から、図５（ａ）で示される各領域を抽出する。この各領域はオブジェクトという、文書内の構成要素の一部とし、その識別のためにオブジェクトＩＤを使用することにする。
【００８０】
Ｓ８０４において、属性情報付加部３０２は、Ｓ８０３で分割された各領域に属性を付加する。図５（ａ）の例では、領域５０３には『写真』、領域５０５は『キャプション』の属性といったように付加する。
さらに、このキャプション５０５には、付随する領域が５０３であるという情報も付加する。この付加した結果の一部を示したのが図５（ｂ）である。この中で、図５（ａ）内の各オブジェクトＩＤに対して、図５（ｂ）の「属性」と「キャプションが付属するオブジェクトＩＤ」の値が、この処理の結果である。
【００８１】
さらに、図表に対しては、その中の要素についても、オブジェクトとみなし、その属性等の情報を付加していく。表５０２に対して行った結果の一部が示されているのが、図５（ｃ）である。この中に、表の中のテキスト領域である、５１２から５１８の属性等の情報が示されている（ただし、５１４から５１８までは、同様なので省略）。ここで、表内の位置として「行位置」の値、「列位置」の値、属性として「行ラベル」、「列ラベル」、「値」が付加されている。
【００８２】
なお、座標Ｘ、座標Ｙ、幅Ｗ、高さＨは、そのオブジェクトの領域に関する位置と大きさを示すものである。これらは、Ｓ８１２でリンク情報や対応表現情報から、プログラミング言語で記載される計算機プログラムやグラフィックスオブジェクトなどを作成し、電子文書データ３１０内に格納する際に使用される。具体的には、その計算機プログラムで作成される表示部品やグラフィックスオブジェクトなどにおいて、その位置や大きさなどを決める際に使用されることになる。
【００８３】
Ｓ８０５において、文字認識部３０３は、Ｓ８０４でテキスト（本文、キャプション、見出し、小見出し等）の属性を付加した領域に対して文字認識処理を実行し、その結果を文字情報として対象領域に関連付けて保持する。この結果が、図５（ｂ）のテキスト情報に記されている。
【００８４】
Ｓ８０６において、Ｓ８０３からＳ８０５、すなわち、領域分割部３０１、属性情報付加部３０２、文字認識部３０３で作成された図５（ｂ）と図５（ｃ）の情報を図２の記憶部２１１に、１ページ分の情報として蓄積を行う。
【００８５】
Ｓ８０７において、全てのページに対してＳ８０３からＳ８０６の処理を行ったかどうか確認し、まだ残っている場合には、Ｓ８０２に戻って、残っているページを選択し処理を行うようにする。全てのページが終わったら、Ｓ８０８に進む。
【００８６】
Ｓ８０８において、リンク処理部３０４は、リンクの生成に必要となる情報を、抽出して蓄積するために、まずは、図７のリンク情報付与対象選択処理部７０１において、キャプション付随オブジェクトとそのテキスト情報を選択する。次に、アンカー表現抽出処理部７０２において、その中からアンカー表現の抽出を行う。これを、全ページのすべてのキャプション付随オブジェクトに対して行う。実際には、アンカー表現がない場合もあるので、アンカー表現が得られたものが、このあとの処理対象となる。
【００８７】
アンカー表現とは、元の文書中でこのキャプションが付随するオブジェクトを識別するための文字情報（文字列）であり、キャプション表現とはオブジェクトを説明するための文字情報（文字列）である。オブジェクトに付随するキャプションには、アンカー表現のみが記載される場合、キャプション表現のみが記載される場合、両方が記載される場合、さらにどちらでもない場合がある。
【００８８】
例えば、アンカー表現は「図」や「Ｆｉｇ」等、特定の文字列と、番号や記号との組み合わせ表現される場合が多い。そこで、それら特定の文字列を登録したアンカー文字列用辞書を予め用意しておき、キャプション表現を該辞書と比較してアンカー部分（アンカー文字列＋数記号）を特定すればよい。そして、キャプション領域の文字列のうち、アンカー表現以外の文字列をメタデータ表現として判断すればよい。
【００８９】
例えば、「図１ ＡＡＡ」というキャプションの場合には、「図１」がアンカー文字列にあたり、「ＡＡＡ」がキャプション文字列に当たる。キャプション表現の文字数が極端に少なかったり、有意な文字列とは思えなかったりする場合（例えば、記号列"― ― ― ― ―"などの場合）がある。このような場合には、文書の区切りなどの印が文字列として文字認識されたり、文字ではないものが文字認識されていたりする可能性があるので、この場合には、キャプションではないと判定し、アンカー文字列の抽出は行わないようにする。
【００９０】
さらに、アンカー表現が、文字認識の誤りなどで文字が誤っている場合があるので、文字認識の誤り訂正用のパターン辞書を保有し、これを用いて補正を行う。たとえば数字の一「１」とアルファベットの小文字のＬ「l」などである（これは、人間にとっても誤りやすい）。
【００９１】
また、アンカー表現に対して、その表現だけでなく、図番号等の多言語の文字列パターンや、図番号等の表記ゆれの文字パターンや、それらに対する文字認識の誤認識パターンを保有する。そして、これらをもとに曖昧検索用のアンカー表現辞書を作成し、これを利用した検索を行う方法が考えられるが、本発明の実施形態では、どのような方法を用いてもよい。
【００９２】
Ｓ８０９において、本文テキストに対して、アンカー表現の検索を行う。具体的には、リンク処理部３０４は、リンクの生成に必要となる情報を、抽出し蓄積するために、本文内アンカー表現検索処理部７０３は、アンカー表現抽出処理部７０２のアンカー表現抽出処理で抽出されたアンカー表現を文書の本文内から検索する。そして、オブジェクトに対応する本文中のアンカー表現として検索を行う。このときに、同一のアンカー表現が、本文中から複数発見される場合もある。これは、１つの図表が、本文中で何度も参照されている場合などに生じるものである。
【００９３】
Ｓ８１０において、リンク処理部３０４は、リンク生成処理を行う。具体的には、リンク情報生成処理部７０４は、リンク情報付与対象選択処理部７０１で選択されたキャプション付随オブジェクトや、本文中のアンカー表現と図や写真の間にリンクを生成するために必要な情報を作成する。そして、リンク処理制御部７０５は、リンク情報生成処理部７０４で生成したリンク生成に必要な情報を、図２の記憶部２１１に格納する。
【００９４】
Ｓ８１１において、対応表現追加部３０５で対応表現の情報を生成し、図２の記憶部２１１に格納する。この処理については、以降に詳細に説明を行う。
Ｓ８１２において、フォーマット変換部３０６は、イメージデータ３００、および図２の記憶部２１１に保存された情報に基づいて、グラフィックデータ生成などを行い、電子文書データ３１０への変換を行う。この際に、リンク情報とその対応表現情報をもとに、プログラミング言語で記述されたリンク作成処理及び対応表現の処理と合わせて、フォーマット変換部３０６に渡し、フォーマット変換部３０６が電子文書の中に格納されることになる。以上で、図８の説明を終了する。
【００９５】
以上の処理は、あくまでも、一般的な文書画像に対する処理であって、その順序や処理の詳細については、本発明のオブジェクトのリンク機能を実現するために、行うものであれば、何でも構わない。例えば、自然言語処理や辞書の応用で、文字認識の誤り訂正を持つ文字認識を行ったり、特定の表現を利用して情報を抽出・利用したりするものであってもよい。
【００９６】
また、文書のスタイルや文書の内容の分類などで、各解析方法を最適化してもよい。また、オブジェクトは画像認識などの技術を用いて、その内容などの情報を抽出してもよい。また、入力となる文書画像は、ページ記述言語などで記載されていてもよい。このように、様々なものが考えられるが、本発明の実施形態のオブジェクトのリンク機能を実現するために本文のテキストと、オブジェクト内のキャプション表現やアンカー表現を利用するものであれば、どのようなものでも構わない。
【００９７】
次に、図８中のＳ８１１の処理の詳細について、図９を用いて説明する。ここでの処理は、対応表現追加部３０５内の各部分において行われる処理であり、対応表現情報の生成を行い、これを図２の記憶部２１１に格納することを行うものである。説明のために、図４の文書を処理している場合を例に挙げて説明を行う。
【００９８】
Ｓ９０１において、図７（ｂ）の対応表現追加制御部７２５は、以降の処理のための初期化処理と、図２の記憶部２１１に格納された情報、特に、図７（ｂ）のリンク情報７１３が利用できるようにする処理を行う。
【００９９】
Ｓ９０２において、対応表現追加制御部７２５は、Ｓ９０１で利用できるようになったリンク情報に対して、順番に１つずつ選んで取り出す処理を行う。本実施形態においては、Ｓ９１２での条件分岐を利用してループ処理の形態とすることで、Ｓ９０２からＳ９１１までの処理を、各リンク情報に施すことを可能としている。したがって、最初にこの処理を行った場合は最初のリンク情報が選ばれ、以後、この処理が行われるたびに、その次のリンク情報が選ばれ、その選ばれたリンク情報が以後の処理の対象となる。
【０１００】
ここでは、まず、図１０（ａ）のリンク情報から、その中のオブジェクトＩＤが１００１のオブジェクトが選ばれたこととする。この図１０（ａ）は、図４の文書に対して作成された図５（ｂ）と図５（ｃ）から作成されたもので、１００１は、図５（ａ）の本文テキスト５０６に対して、作成されたものである。
【０１０１】
同様に、１００２は、図５（ａ）の表である５０２に対して、作成されたものである。これらが新たなオブジェクトＩＤを保有しているのは、このリンクの表示・機能を実現するために、電子文書の中で表示・機能する新たなオブジェクトとして作成されたことを意味している。また、両方が互いに、リンク対象のオブジェクトＩＤで差しあっていることから分かるように、これらは、図８の処理において、アンカー表現「Table．１」を介して、対応づけられたことを意味している。
【０１０２】
ただし、１００１は表５０２から本文テキスト５０６へのリンクであり、１００２は本文テキスト５０６から表５０２へのリンクである。ここでは１対１のリンクになっているが、双方向のリンクではなく、片方向の２つのリンクになっている。これは、実際には、図表は本文中の複数の部分（文や段落など）から参照されることがあるので、１対多のリンクになることもあるためであり、また、個々のリンクに独自の機能や表現を持たせることを可能とするためでもある。
【０１０３】
Ｓ９０３において、本文内アンカー近傍テキスト抽出部７２１は、Ｓ９０２で選択されたリンク情報から、その中にあるアンカー表現間のリンク情報をもとに、図表などの対応するキャプションや見出し、ラベルを取り出す。図４の例の場合には、これを行うことで、図１０（ａ）の場合は、１００２の基になった５０２が、図５（ｂ）から表であることがわかり、図５（ｃ）から、行ラベルや列ラベルである、「大阪支店」や「２０１０年」などを得ることになる。
【０１０４】
Ｓ９０４において、本文内アンカー近傍テキスト抽出部７２１は、Ｓ９０２で選択されたリンク情報から、その中にあるアンカー表現間のリンク情報をもとに、本文中のアンカー表現の近傍のテキストを取り出す。図４の例の場合には、これを行うことで、図１０（ａ）の場合は、１００１の基になった５０６が、図５（ｂ）から本文であることがわかり、図８の処理でのアンカー表現の近傍のテキスト情報を得て、「Ａ社の年間売上・・・」の表現を得ることになる。
【０１０５】
Ｓ９０５において、本文内テキスト・図表内テキスト検索部７２２は、本文内アンカー近傍テキスト抽出部７２１で得た図表のキャプション、見出し、ラベルなどのテキスト表現について、アンカー表現の近傍のテキスト情報に対して検索を行う。図４の例の場合には、これを行うことで、「大阪支店」や「２０１０年」が含まれていることが分かる。これは、図５（ｂ）での５１１と５２３、５１２と５２２が対応していることが分かる。この対応関係が、このリンク情報に対する対応表現追加の対象となる。
【０１０６】
Ｓ９０６において、本文内テキスト・図表内テキスト検索部７２２で対応関係が得られたかどうかを判定し、判定結果に応じて分岐する処理を行う。対応関係が得られた場合は、Ｓ９０７へ進み、得られなかった場合は、Ｓ９１０へ進む。
【０１０７】
Ｓ９０７において、対応表現内容決定部７２３は、本文内テキスト・図表内テキスト検索部７２２で得られた対応表現をもとに、これらに対して、どのような強調表現などを行うのがよいかを決定する強調表現方式決定処理を行う。図４の例の場合には、これを行うことで、以下のようなものが決定される。
【０１０８】
なお、この内容を示したものが図１０の（ｂ）である。ここでは、Ｓ９０５で得られた対応するテキスト表現である「大阪支店」と「２０１０年」に対して、その文字列部分に対して、文字列領域枠が設定される。ただし、文字列領域枠は、同じ１００１に対応する者同士は、異なる色となる等、区別できるようになっており、かつ、対応する者同士は同じ色となるなど、対応していることが分かるようになる。これにより、「２０１０年」に対して１０１４、「大阪支店」に対して１０１５が作成されている。また、同様に、１００２について、図５（ａ）の領域５０２に対して、操作ボタン１０２１、領域枠表示１０２２、文字列領域枠表示１０２４、１０２５が作成されることになる。
【０１０９】
Ｓ９０８において、対応表現内容決定部７２３は、同一テキストの図表の配置などの関係から指し示されているものを対象に追加することを行う。これには、図表内の位置関係や配置の情報が用いられる。図４の例の場合には、図５（ｃ）の表の情報から「大阪支店」と「２０１０年」がそれぞれ行と列であり、それで指示される図５（ａ）の５１３があることが分かるので、この「５００万」に対して、文字列下線１０２３が作成されることになる。
【０１１０】
Ｓ９０９において、対応表現内容決定部７２３は、Ｓ９０８で追加されたものに対して、対応するものを作成し追加を行う。図４の例の場合には、これを行うことで、１０２３に対応するものが必要であることが分かる。しかし、本文中には「５００万」というテキスト表現がないことが、本文内テキスト・図表内テキスト検索部７２２がＳ９０５で行った検索でわかっている。これに対応するものとして、アンカー表現の近傍のテキスト情報を選択することとする。これにより、文字列下線１０１３が作成されることになる。
【０１１１】
Ｓ９１０において、対応表現内容決定部７２３は、図表側と本文側の全体の対応表現を決定する。強調表示のパターンとして、１００１については、アンカー表現である「Table．１」の部分５２１に対して、図１０（ｂ）に示すように、操作ボタン１０１１の追加を行っている。これはリンク機能を追加する場合に、必ず行われるもので、これを操作すると、リンクで対応する先へと文書の表示が移動する機能が付加されているものである。
【０１１２】
次に、本文中のアンカー表現近傍全体に対して、図１０（ｂ）に示すように、領域枠表示１０１２が追加されている。この領域枠表示は、対応する表５０２に対する枠表示と同一の強調表現になるようになっていて、例えば同一の色などに設定される。また、文書内の内容と区別できるように、異なる色や点滅するなどの動きで、それらと区別できるように設定される。
【０１１３】
前述の条件から、オブジェクトＩＤ１０１１から１０１５は、オブジェクトＩＤ１０２１から１０２５にそれぞれ対応しており、その対応毎に異なる色や表現になるようにしてあるが、対応するもの同士は同一の色や表現になるようになっている。また、表５０２に対して、本文中に複数のアンカー表現があることで、複数の場所から参照されている場合がある。その場合は、別のアンカー表現に対して領域枠表示１０１２と領域枠表示１０２２に相当するオブジェクトが生じる。これらは、領域枠表示１０１２と領域枠表示１０２２と同様の表現パターンを使用するが、色などは異なるように設定されることになる。
【０１１４】
Ｓ９１１において、対応表現追加処理部７２４は、これまで作成された対応表現情報をリンク情報ごとにまとめて、図２の記憶部２１１に記憶する。これが、図７（ｂ）の対応表現情報７１４である。この情報をもとに、図８のＳ８１２で対応表現を実現する操作やグラフィックスオブジェクトや計算機プログラムを作成し、電子文書データに格納することになる。
【０１１５】
Ｓ９１２は、全てのリンク情報に対して対応表現情報が付加されるように、まだ付加されていないリンク情報があるどうかを判定し、判定結果に応じて分岐する処理を行う。付加されていないリンク情報がある場合には、Ｓ９０２へ移動して処理を継続することになる。また、付加されていないリンク情報がない場合は、終了となる。
【０１１６】
このようにして作成された電子文書データを利用しているところを図１１に示す。これは、図１０（ｂ）の情報に従って作成されたもので、オブジェクトＩＤ１０１１から１０１５と１０２１から１０２５までが、１１１１から１１１５と１１２１から１１２５に、対応している。１１１１と１１２１はリンク機能そのものの表示で操作可能である。
【０１１７】
１１１１と１１２１は、このページが利用者の操作で着目状態（フォーカスされる）状態になると表示される。さらに、その際に、１１１１か１１２１が、利用者の操作で着目状態（フォーカスされる）状態になると１１１２から１１１５と１１２２から１１２５も表示されるようになる。
【０１１８】
ただし、同一のページにない場合には、表示されているページのものしか表示されないようになっている。１１１１と１１２１は、利用者に選択される等で機能を呼び出されると、リンク先が着目状態（フォーカスされる）状態になるように変更される。これにより、表示されるページの移動が伴う場合がある。
【０１１９】
たとえば、１１１１を選択すると、１１２１が着目状態（フォーカスされる）状態となり、１１１１から１１１５と１１２１から１１２２の表示は持続することになる。これにより、利用者は、１１１１の本文の表現が指示している部分の表に移動し、かつ、対応を示す１１２３と１１２４が連携している表現で、１１２５の強調表現もあり、この「５００万」という表現を簡単に見つけることが可能となる。この内容を利用者が理解したら、１１２１を選択することで、１１１１を選択したときと同様に、また元の本文の部分へ戻ることが可能で、その該当する内容の部分が１１１２、１１１３、１１１４、１１１５で再度確認することが可能となっている。
【０１２０】
このようにして、複数ページの電子文書を入力として、ページ単位で「オブジェクト」と「オブジェクトの説明文」との間に相互リンクを自動的に作成し、マルチページの電子文書を生成することが可能となる。かつ、同時に、それを使用した場合の「オブジェクトの説明文」の個々の説明と、対応する「オブジェクト」内の特定の部分を容易に分かるようにする。
【０１２１】
また、オブジェクト内の特定の部分内の同一単語列の構造的な関係も利用して、強調表現方式やその特性を決定するようにした。これにより、対応する部分を直観的にわかりやすく示すことができるので、オブジェクト内の特定部分と、本文中のオブジェクトの説明文内の対応する部分に対して、その対応関係を容易に識別できるようにする強調表現することができる。これにより、対応する部分を探す手間が省けて、文書の可読性を向上させることが可能となった。
【０１２２】
（第２の実施形態）
第１の実施形態は、スキャナ等を使用した場合での利用や、電子文書のイメージやデータなどから利用した場合であった。これに対して、文書作成時でも、同じようなリンク機能とそれをわかりやすくするための対応表現などを付加することが可能である。これを利用することで、利用者が読む際に、わかりやすい動作と表現が伴った文書の作成を可能とする。
【０１２３】
図１２（ａ）は、文書の編集時の画面の図である。作成されるのは、第１の実施形態の図４の文書で、それを作成している途中の状態の図となっている。この作成途中の文書が１２００であり、１２２１はカーソルと呼ばれる、利用者が現在、文字などを入力している場所を示すものである。
【０１２４】
近年の文書作成・編集用のワードプロセッサでは、このような文字入力を行っている場合に、入力内容を予測して入力候補を示す機能を有するものがある。通常は、よく使われる単語や文などの表現を学習しておき、利用者がその全部を入力する前に入力候補として示し、それが適切なものであれば利用者は、それを選択し、全部を入力することなく、その単語や文の入力を終えることができる。これは、入力予測による入力補完機能などと呼ばれている。
【０１２５】
さらに、単純に入力された回数や頻度だけでなく、作成中の文書の中でよく使われている単語や文を、入力予測の候補として優先して使用するものがある。これは文書によって、単語や文の利用頻度が異なる場合に有効な手法である。
【０１２６】
このような方法を利用する場合に、文書中の図表やその一部を指し示す入力を行った際に、近傍の図表内の表現を予測候補として提示し、それが選択された場合を考える。この時に、単に入力文字として記録するだけでなく、その入力部分と選択された表現を有する図表にリンク情報を持たせるようにするのである。
【０１２７】
さらに、本文中の方言と、図表の対応がリンク情報として記録されるようになるので、これに対して対応表現も、推奨候補として提案し、その内容が利用可能と利用者が判断して選択したら、これを追加することにする。このようにすることで、作成された文書を読む場合に、本文内容と図表の中の対応する部分を見つけやすく、かつ、わかりやすく示すことができるようになる。
【０１２８】
図１２（ｂ）は、図１２（ａ）の入力中の文書の内容を示しやすいように、記したものである。以下、図１４のフローチャートに従って、本実施形態の文書処理装置の文書作成時の処理の内容を説明する。
【０１２９】
Ｓ１４０１は、文書編集の開始が指示された場合の初期化処理に関するものである。これによって、文書作成を行うため必要な、文書内の情報に対して参照、追加、修正、削除などを行うことができるようになる。
Ｓ１４０２は、実際に文書が入力され始めた部分で、入力内容も含めて操作指示の内容として受け取る。
Ｓ１４０３は、操作指示が入力終了を指示したかどうかの判定を行う。ここで、入力終了と指示された場合は、Ｓ１４１１へ進む。そうでない場合は、操作内容は、入力指示や内容であると判断したことになり、Ｓ１４０４へ進む。
【０１３０】
Ｓ１４０４は、入力予測として、近傍の図表内のテキスト表現であるキャプションや見出し、ラベル等が予測可能かどうかを調べる。図１２（ａ）の状況の場合だと、表の１２０２からの１２１１から１２１３等や１２０７、図の１２０３からの１２０４、１２０５を、近傍の図表内のテキストとして取り出し、入力内容のテキストと比較を行う。
Ｓ１４０５は、Ｓ１４０４の比較結果を利用して条件分岐する処理であり、含まれていた場合は、Ｓ１４０６へ進む。含まれなかった場合は、Ｓ１４１０へ進む。
【０１３１】
Ｓ１４０６は、Ｓ１４０４の比較の結果として得られた図表のキャプションや見出し、ラベル等の該当するテキストを、入力補完候補として利用者に提示する処理を行う。実際に提示している図が、図１３である。図１３中、１３０１が推奨する補完候補であり、その候補として、１３０２の「２００万」と１３０３の「２０１０年」が表されている。これに対して、利用者は、その候補を選択する操作を行うことで補完を行い、入力していた単語や表現を完成させることができる。また、候補の選択を明示的に拒否する操作を行うか、候補表示を無視して入力を続けることで選択を行わない(拒否する)ことができる。
【０１３２】
Ｓ１４０７は、Ｓ１４０６で行った表示、すなわち、推定による候補の提案に対して、利用者がどのように指示したかを判定して条件分岐する処理である。ここで、Ｓ１４０６で提案した候補を選択した場合には、Ｓ１４０８へ進む。選択されなかった場合には、Ｓ１４１０へ進む。
【０１３３】
Ｓ１４０８は、Ｓ１４０６の表示に従い選択された入力補完候補を入力内容に加える処理を行う。図１３の表示の場合で、「２０１０年」が選ばれた場合だと、１２０６の本文の最後の「２０」を「２０１０年」で置き換えることになる。これは、通常の予測による入力補完を行っているものである。
【０１３４】
Ｓ１４０９は、Ｓ１４０８で行った入力補完が行われたことに着目して、１２０６の本文と１２０２の表との間にリンク情報を作成する処理を行う。このときの処理は、第１の実施形態の図７（ａ）の各部７０１〜７０５が行うため、アンカー表現「Table．１」なども利用され、リンクの情報が作成される。これにより、図４のイメージデータ４００程度に入力された場合には、図５（ｂ）と図５（ｃ）と同様の情報が蓄積されることになる。
【０１３５】
Ｓ１４１０は、Ｓ１４０９において生成されたリンク情報を電子文書として格納する処理を行う。
Ｓ１４１１は、第１の実施形態の図８のＳ８１１と同じであり、図７（ｂ）の対応表現追加部を使用して図９の処理を行う。これにより、対応表現が作成される。
【０１３６】
Ｓ１４１２は、Ｓ１４１１で得られた対応表現を、入力した文書を見やすくするための表現として追加するかどうかを利用者に判断してもらうために、その対応表現を表示する処理を行う。対応表現を表示する処理を行う際に、対応関係を容易に識別できるようにする強調表現情報を生成する強調表現情報生成処理を行う。入力文書が図４のイメージデータ４００まで作成された場合、図１１で示された対応表現の候補が示されることになる。
【０１３７】
Ｓ１４１３は、Ｓ１４１２での対応表現追加の提案に対する利用者の操作によって、条件分岐する処理を行う。利用者によってこの対応表現が選択された場合は、Ｓ１４１４へ進む。利用者によって選択されなかった場合は、入力終了となる。
【０１３８】
Ｓ１４１４は、Ｓ１４１３で提案した対応表現を電子文書データに追加を行う処理である。第１の実施形態とは異なり、第２の実施形態においては文書編集なので、編集完了時に、電子文書ファイルなどに記録する処理となるが、その際に、第１の実施形態のような電子文書ファイルの形態に変換する処理等が行われることになる。これは、通常、文書編集時には、編集用に、文書の中身を図２のＲＡＭ２０６などにデータを展開し、編集に有利なデータ構造などに変換することはよく行われる手法であり、電子文書ファイルに記録する際には、その形式に戻す（変換する）のである。
【０１３９】
このようにして対応表現を追加することで、図１１に示されるような対応表現が追加される。特に、文書編集において、文字入力の予測補完機能と組み合わせてリンク情報を作成することを行うことで、自動的に対応表現候補が提示されるようになり、対応表現の追加を容易に行えるようにしている。
【０１４０】
この文字入力の予測補完機能などの、文書編集の機能と連携させることで、文字入力が容易になるとともに、利用者は特に何も操作が増えていないのに、対応表現候補の提示が行われるようになったため、利用者の文書作成の負担を軽減することができる。文字入力の予測補完機能以外にも、文書編集装置において、文書内の文章や図表などのレイアウトや、それらをわかりやすく、あるいは美しく見せるための飾りとなる部品の追加、アンカー表現内の番号の管理など、さまざまな支援機能が提供される可能性がある。それらについても、同様に、それらの操作時に、リンク情報を抽出しておくようにすることで、本発明を適用可能であり、その効果を得ることは可能である。
【０１４１】
本実施形態によれば、入力予測による文字入力を行わせる際に、同一文書内のオブジェクト中のテキスト内容と比較を行い、同一のものが入力される可能性が高まった場合に、該当する可能性のある同一文書内の図表中のテキストを入力候補として提示する。このような方法を利用する場合に、文書中の図表やその一部を指し示す入力を行った際に、近傍の図表内の表現を予測候補として提示し、それが選択された場合を考える。この時に、単に入力文字として記録するだけでなく、その入力部分と選択された表現を有する図表にリンク情報を持たせるようにすることができる。
【０１４２】
さらに、本文中の方言と、図表の対応がリンク情報として記録されるようになるので、これに対して対応表現も、推奨候補として提案し、その内容が利用可能と利用者が判断して選択したら、これを編集中の電子文書にデータとして格納する。このようにすることで、作成された文書を読む場合に、本文内容と図表の中の対応する部分を見つけやすく、かつ、わかりやすく示すことができるようになる。また、このような文書を容易に作成できるようにすることができる。
【０１４３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１４４】
２１８  データ処理部、３００  イメージデータ、３０１  領域分割部、３０２  属性情報付加部、３０３  文字認識部、３０４  リンク処理部、３０５  対応表現追加部、３０６  フォーマット変換部、３１０  電子文書データ
【図１】
2013152564.tif 000003
【図２】
2013152564.tif 000004
【図３】
2013152564.tif 000005
【図４】
2013152564.tif 000006
【図５】
2013152564.tif 000007
【図６】
2013152564.tif 000008
【図７】
2013152564.tif 000009
【図８】
2013152564.tif 000010
【図９】
2013152564.tif 000011
【図１０】
2013152564.tif 000012
【図１１】
2013152564.tif 000013
【図１２】
2013152564.tif 000014
【図１３】
2013152564.tif 000015
【図１４】
2013152564.tif 000016
【図１５】
2013152564.tif 000017