(57)【要約】【課題】文書中の非テキスト情報の領域、非テキスト情報、又はその構成要素を高精度に検索し得る情報処理装置、その制御方法、及びプログラムを提供する。【解決手段】レイアウト解析により、文書中の図表領域と、その図表領域の構成要素である個々の図表との関係等を推定する。次に、この関係に基づいて図表領域のキャプションと、個別の図表のサブキャプションとの関係を解析する。そして、キャプション又はサブキャプション、キャプションとサブキャプションとの関係を示す関係情報を検索用メタデータとして、図表領域、又は個別の図表と関連付けて所定の記憶媒体に登録する。検索時には、入力に係る検索条件に基づいて登録に係る検索用メタデータを検索し、その検索に係る検索用メタデータに対応する図表領域又は個別の図表を読出して検索結果として表示する。【選択図】図７
2007310503.tif 000002
【特許請求の範囲】
【請求項１】
文書データ中の非テキスト情報に関連するメタデータを抽出する情報処理装置であって、
文書中の非テキスト情報とテキスト情報との関係を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記非テキスト情報に関連するテキスト情報を前記文書データから抽出する抽出手段と、
前記抽出手段によって抽出されたメタデータと、前記メタデータに関連する非テキスト情報とを関連付けて記憶媒体に登録する登録手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記解析手段は、前記解析の結果に基づいて前記非テキスト情報の領域のキャプションと該領域内の各要素である非テキスト情報のサブキャプションとの関係を解析し、
前記抽出手段は、該キャプション又はサブキャプションとそれらの関係を示す情報とを、該非テキスト情報の領域、又は非テキスト情報を検索するためのメタデータとして抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記解析手段は、前記非テキスト情報が表の場合は、表のタイトルをキャプションとし、表の中に記載された項目名をサブキャプションとして、キャプションとサブキャプションの関係、サブキャプション同士の関係を解析することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記抽出手段は、前記解析手段による解析結果に基づいて前記非テキスト情報の領域、非テキスト情報、又は構成要素を検索するためのメタデータを該非テキスト情報の近傍のテキスト情報を含む文書領域の中から抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
さらに、前記検索条件と類似性のある前記メタデータを検索する検索手段を有することを特徴とする請求項１〜４の何れかに記載の情報処理装置。
【請求項６】
前記検索手段は、前記検索条件に係る文字列中の各単語の意味又は関係と、前記メタデータに係る文字列中の各単語の意味又は関係を比較することにより、該検索条件と該メタデータとの類似性を判定することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記検索手段は、前記検索条件に係る文字列中の各単語の意味又は関係と、前記メタデータに係る文字列中の各単語の意味又は関係を比較することにより、該検索条件に対する該メタデータの類似度を算出して類似度の高いメタデータの順に検索し、前記表示手段は、検索されたメタデータの順に、該メタデータに関連付けられた非テキスト情報の領域、非テキスト情報、又は構成要素を前記記憶媒体から読出して検索結果として表示することを特徴とする請求項５に記載の情報処理装置。
【請求項８】
文書データ中の非テキスト情報に関連するメタデータを抽出する情報処理装置の制御方法であって、
文書中の非テキスト情報とテキスト情報との関係を処理ユニットが解析する解析工程と、
前記解析工程における解析結果に基づいて、前記非テキスト情報に関連するテキスト情報を前記文書データから前記処理ユニットが抽出する抽出工程と、
抽出されたメタデータと、前記メタデータに関連する非テキスト情報とを関連付けて前記処理ユニットが記憶媒体に登録する登録工程と、
入力に係る検索条件に基づいて前記記憶媒体に登録されたメタデータを検索する検索工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項９】
請求項８に記載の制御方法を実行するコンピュータ読み出し可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書中の図表等の非テキスト情報を検索するのに好適な情報処理装置、その制御方法、及びプログラムに関する。
【背景技術】
【０００２】
電子文書は、近年、保存スペースの削減，遠隔地からの利便性から、膨大な量の電子文書が氾濫している。このため、所望の電子文書の検索に長時間を要するようになってきている。
【０００３】
特に、カタログ、論文、電子機器の取り扱い説明書等に係る電子文書には、テキスト情報だけでなく、画像、図、表などの非テキスト情報が多数含まれている。これら非テキスト情報は、利用頻度が高い情報でもある。
【０００４】
しかしながら、これら非テキスト情報は、それ自体は文字情報を持たないか、持っていても断片的な文字情報であるため、所望の非テキスト情報の検索は困難である。そこで、画像情報にメタデータ（テキスト情報）を付加し、このメタデータを用いて画像情報を検索する技術が開発されている（特許文献１参照）。
【特許文献１】特開２００２−２０２９７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、文書データ内の一部領域に含まれる画像，図，表などの非テキスト情報を検索したいという要望がある。
【０００６】
本発明は、このような背景の下になされたもので、その目的は、文書中の非テキスト情報を検索可能な情報処理装置及びその方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明は、文書データ中の非テキスト情報に関連するメタデータを抽出する情報処理装置であって、文書中の非テキスト情報とテキスト情報との関係を解析する解析手段と、前記解析手段による解析結果に基づいて、前記非テキスト情報に関連するテキスト情報を前記文書データから抽出する抽出手段と、前記抽出手段によって抽出されたメタデータと、前記メタデータに関連する非テキスト情報とを関連付けて記憶媒体に登録する登録手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、非テキスト情報の特徴や関係などを考慮してメタデータを抽出し、このメタデータを用いて非テキスト情報又は構成要素を検索している。そのため、文書中の非テキスト情報の領域、非テキスト情報、又はその構成要素を高精度に検索し得る情報処理装置、その制御方法、及びプログラムを提供することが可能となる。
【発明を実施するための最良の形態】
【０００９】
［第１の実施の形態］
図１は、本発明の第１〜３の実施の形態に係る情報処理装置の基本構成を示すブロック図である。この情報処理装置は、マルチメディア文書データから所望の画像、図、表等の非テキスト情報又はその構成要素を高精度に検索できるようにしたものであり、パーソナルコンピュータ（ＰＣ）上に構築されている。
【００１０】
図１において、ＣＰＵ１０１は、本情報処理装置における各種の処理を制御するコントローラ（処理ユニット）である。その制御内容は、後述するＲＯＭ１０２、外部記憶装置１０５等に格納されたプログラムに基づいて実行される。また、ＣＰＵ１０１は、複数のプログラムを並列に実行可能である。
【００１１】
このＣＰＵ１０１は、バス１１０を介して、ＲＯＭ１０２、ＲＡＭ１０３、入力部１０４、外部記憶装置１０５、表示器１０６、通信部１０７等の各種デバイスと相互に通信可能に接続されている。ＲＯＭ１０２には、ブートプログラム等のプログラム、データ等が格納されている。ＲＡＭ１０３は、ＣＰＵ１０１が実際に処理を実行する際に、その処理に係るプログラムを外部記憶装置１０５等からロードして展開する等、ワークエリアとして利用される。
【００１２】
入力部１０４は、キーボード等により構成され、アルファベットキー、ひらがなキー、カタカナキー等の文字入力キー、及びカーソル移動キー等の各種の機能キーを有している。なお、入力部１０４は、マウスのようなポインティングデバイスを入力部１０４に搭載することもできる。
【００１３】
外部記装置１０５には、ＯＳ、アプリケーションプログラム等の各種のプログラム、文書データ等の各種のデータが格納される。この外部記憶装置１０５は、ハードディスク、不揮発性の半導体メモリ等の記憶媒体からなる。また、外部記憶装置１０５がハードディスクの場合、当該記憶媒体を駆動してデータを記録するドライブを有する。なお、外部記憶装置１０５は、図６のフローチャートに係る処理を行なうためのアプリケーションプログラムも記憶する。
【００１４】
表示器１０６は、液晶ディスプレイなどで構成され、入力部１０４により入力されたデータ、ＣＰＵ１０１での処理内容等を表示する。通信部１０７は、ＬＡＮ１０８、コネクタ１０９を介して他の情報処理装置、プリンタ等と通信するための制御を行う。この通信部１０７による通信制御により、第１〜３の実施の形態に係るアプリケーションプログラムやデータを他の情報処理装置と共有することが可能になる。
【００１５】
通信部１０７による通信は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、Ｅｔｈｅｒｎｅｔ(登録商標)などの有線通信、Ｂｌｕｅｔｏｏｔｈ、赤外線通信、ＩＥＥＥ８０２．１１ｂ等の無線通信の何れの通信方式を採ってもよい。なお、通信部１０７は、コネクタ１０９を介して記憶装置、スキャナ、プリンタ等と接続されている。
【００１６】
本情報処理装置は、外部記憶装置１０５、或いは外部のコンピュータにマルチメディア文書（以下、文書という）を格納する際に、この文書中の非テキスト情報又はその構成要素を検索するためのメタデータを抽出している。
【００１７】
図２は、１ページ分の文書データ２０１を例示したものである。この文書データ２０１は、本文（テキスト情報）２０２、見出し（テキスト情報）２０３に続く文章（テキスト情報）２０４、図表要素（グラフ：非テキスト情報）２０５、図表要素２０５のキャプション（説明文：テキスト情報）２０６、図表要素２０７、図表要素２０７のキャプション２０８（説明文：テキスト情報）、ページ番号（テキスト情報）２０９を有する。なお、キャプションとは、対応する図の説明文（テキスト情報）を意味する。
【００１８】
図３は、図２の文書データ２０１の解析結果を示す構造化文書データを示したものである。なお、図３は、レイアウト解析結果の基本部分を抜粋したものである。図３において、（３−１）〜（３−３２）は、レイアウト解析結果をＸＭＬ形式で記述したものである。このうち、（３−１）は図２のページの開始を示すものであり、ページ番号が「１１」であることが記述されている。また、（３−３２）は当該ページの終了を示している。
【００１９】
（３−２）〜（３−４）は、図２のページの大きさを示す記述部分である。（３−３）に示したページの大きさ（６００  ９００）は、ページ左上を原点とし、Ｙ軸をページ下方向に正方向とし、Ｘ軸をページ右方向に正方向とするＸＹ座標系におけるＸ，Ｙ座標値を示すものである。すなわち、当該ページがＸ方向に６００、Ｙ方向に９００の大きさであることが記述されている。以下、同様に、位置や大きさなどの情報は、ページ左上を原点とし、Ｙ軸をページ下方向に正方向とし、Ｘ軸をページ右方向に正方向とするするＸＹ座標系で示される。
【００２０】
（３−５）〜（３−３１）は、図２のページ内の文書情報の構成要素（領域）を列挙したものであり、各構成要素をブロック（Ｂｌｏｃｋ）という単位で表現されている。このうち、（３−６）〜（３−２１）は、図２の文章２０２，２０３，２０４の領域のブロックを表現した記述である。（３−６）は、レイアウト解析において割り当てたブロック識別番号が「１１０１」であり、文章を記述したテキスト領域のブロックであることを示す記述がされている。
【００２１】
また、（３−７）〜（３−９）は、当該ブロックのページ内での位置を示す情報として、上記のＸＹ座標系での当該ブロックの左上の位置座標示す記述が記されている。また、（３−１０）〜（３−１２）は、上記のＸＹ座標系での当該ブロックのサイズを示す記述がされている。このサイズは、当該ブロックの左上の位置座標からのＸ，Ｙ方向の距離で示されている。
【００２２】
（３−１３）〜（３−２０）は、当該ブロック中に記述されている内容を示しており、テキスト領域のブロックなので、図２の本文２０２，見出し２０３，見出し２０３に続く文章２０４がそのまま記述されている。これらの文章（テキスト情報）は、紙媒体などからスキャンした場合には、文字認識などの技術を用いることで、画像情報からテキスト情報に変換して得られる。
【００２３】
（３−１５）は、図２の見出し２０３の部分が記述されており、見出しの番号が「５」で、見出しのタイトルが「客層の分析」という内容であったことを示すテキスト情報が付加されている。また、（３−１８）では、図２の文章２０４中の「スキー客」という部分にアンダーラインが付与されていたことが、文章２０４の文字列に加えて記述されている。
【００２４】
（３−２２）〜（３−３１）は、図２の図表要素２０５等の当該ページ内の他の構成要素について記述されている。（３−２２）は、図２の図表要素２０５に対してレイアウト解析において割り当てたブロック識別番号が「１１０２」であり、グラフィック形式のブロックであることが記述されている。また、（３−２３）〜（３−２５）は、図表要素２０５に係るブロックのページ内の位置を示す情報として、上記のＸＹ座標系での図表要素２０５に係るブロックの左上の位置座標が記述されている。また、（３−２６）〜（３−２８）は、上記のＸＹ座標系での図表要素２０５に係るブロックのサイズを記述している。さらに、図示省略したが、（３―３０）以下には、図表要素２０５自体が記述されている。
【００２５】
本実施の形態では、図１の外部記憶装置１０５等に保存された文書データ中の画像、図、表といった非テキスト情報を検索するために、まず、以上のようにして文書データに対して予めレイアウト解析を行う処理が実行される。そして、このレイアウト解析結果に基づいて非テキスト情報の領域、その構成要素、すなわち非テキスト情報の領域内の個々の非テキスト情報について相互の関係を解析する処理が実行される。その解析結果に基づいて非テキスト情報、その構成要素を検索するための検索用メタデータを抽出して登録する処理が実行される。
【００２６】
例えば、ＣＰＵ１０１は、レイアウト解析によりブロック分割を行うことによってそれぞれの図表要素あるいは文章が記述されたブロックの位置を求める。そして、図２に示した図表要素２０５、図表要素２０７のそれぞれに近傍する位置に１〜２行程度の文字列が配置された領域を認識する。ここで、所定の範囲内に１〜２行程度の文字列の存在が認識されない場合、あるいは所定の範囲内に１〜２行程度の文字列の存在が認識されたが、その文字列よりも図表要素が対象とする図表要素に近傍している場合、ＣＰＵ１０１は、その図表要素のキャプションは存在しないものと判断する。ＣＰＵ１０１は、これら認識された領域内の文字列を、図表要素２０５，図表要素２０７の説明文（キャプション）２０６，２０８であると認定する。
【００２７】
すなわち、情報処理装置は、図表要素２０５と図表要素２０７は並列の関係にあり、キャプション２０６は図表要素２０５に対応し、キャプション２０８は図表要素２０７に対応しているものと認定することができる。そして、情報処理装置は、これらキャプション２０６，２０８を、それぞれ図表要素２０５，２０７を検索するための検索用メタデータとして抽出し、それぞれ図２０５，２０７と関連付けて外部記憶装置１０５等に登録する。
【００２８】
そして、検索処理の際には、情報処理装置は、例えばメタデータとしてのキャプション２０６を検索することにより、そのメタデータ（キャプション２０６）に関連付けられた非テキスト情報としての図表要素２０５を読出し、検索結果として表示する。
【００２９】
これにより、画像、図、表等の各種の非テキスト情報のフォーマットに依存することなく、各種の非テキスト情報を検索することができるようになる。また、検索時には、検索用のメタデータを検索するだけで目的の非テキスト情報を検索することができ、検索所要時間を短縮することが可能となる。
【００３０】
次に、図４の文書データの例を用いて第１の実施の形態を詳細に説明する。図４の１ページ分の文書データ４０１は、文章（テキスト情報）４０２、見出し（テキスト情報）４０３で始まる文章（テキスト情報）４０４、図表要素（画像情報：非テキスト画像）４０５、図表要素４０５のキャプション４０６（テキスト情報）、図表要素（画像情報：非テキスト画像）４０７、図表要素４０７のキャプション４０８（テキスト情報）、図表要素４０９（画像情報：非テキスト画像）、図表要素４０９のキャプション４１０（テキスト情報）を有する。
【００３１】
さらに、文書データ４０１は、図表領域全体を示すキャプション４１１（テキスト情報）と、ページ番号４１２（テキスト情報）を有する。なお、キャプション４０６，４０８，４１０は、図表領域全体のキャプション４１１に対し、当該図表領域の一部の図のキャプションであることから、サブキャプションと呼ばれる。
【００３２】
図５は、図４の文書に対するレイアウト解析の解析結果を示したものである。ただし、レイアウト解析結果は、本実施の形態では、実際にはＸＭＬデータで記述されるが、図５では理解し易いように、概念図で示している。
【００３３】
なお、図表要素４０５、図表要素４０５のキャプション４０６、図表要素４０７、図表要素４０７のキャプション４０８、図表要素４０９、図表要素４０９のキャプション４１０が配置される領域、すなわち、図表領域は、一部にテキスト情報としてのキャプションを含んでいる。図４に示す図表要素は、密集している状態である。すなわち、本願に係る明細書、特許請求の範囲では、「非テキスト情報の領域」という用語は、その領域にテキスト情報を含むことを許容するものとして解釈されるべき用語である。
【００３４】
図５に示したキャプション等は、図４の文書データのレイアウト解析を行なって得られる。図４に示したように、「１１」という数字は、当該ページの最下行に孤立状態で存在するものであるので、ＣＰＵ１０１は、ページ番号と判断する。仮に、前後のページが存在し、それらのページの同位置にも「１１」に連続する「１０」、「１２」という数字が存在する場合、ＣＰＵ１０１は、図４の数字「１１」は、「ページ番号」であると判断してもよい。図５において、レイアウト解析結果において得られたテキスト情報である数字「１１」は、符号５０１で示したようにページ番号と判断され、「ページＮｏ．１１」としている。図５に示した符号５０２，５０４は、図４に示した文章４０２，４０４に相当するものである。
【００３５】
また、図４の文書データにおいて、「５．家具Ａ」という短い文字列は、比較的長い文章４０２と文章４０４の間に孤立状態で配置されている。さらに、図４の文書データの前のページの文章の間には「５」に連続する「４」、「６」という数字が短い文字列と共に記載されている。この場合、ＣＰＵ１０１は、図４の「家具Ａ」という文字列を「タイトル」として判断し、「５．」をセクション番号であると判断する。よって、図５のレイアウト解析結果において符号５０３で示したように、「文章（セクション）番号＝”５”、タイトル＝”家具Ａ”」としている。すなわち、本実施の形態において、ＣＰＵ１０１は、レイアウト解析によってブロック分割を行う。その結果として、ある領域中に「数字」，「１行程度の文字列」の記述を認識した場合、その認識された領域の前の領域（上側の領域）と予め定められた距離より離れて配置されているか否かを判断する。予め定められた距離より離れて配置されていると判断した場合、ＣＰＵ１０１は「数字」を文章（セクション）番号とみなし、「１行程度の文字列」をタイトル判断する。
【００３６】
また、図４の文書データにおいて、「商品Ｎｏ．１００  家具Ａ」という比較的短い文字列は、図表領域の最下行に孤立状態で記載されている。また、図表領域の他の３個の文字列「側面図」、「脚の拡大図」、「全体図」は、３個の図とそれぞれ１対１に対応する形で図の真下に記載されている。従って、「商品Ｎｏ．１００  家具Ａ」という文字列は、図表領域全体のキャプションであり、他の３個の文字列は、その真上の図のキャプション（この場合はサブキャプション）であると推定できる。従って、図５のレイアウト解析結果では、符号５０５〜５０８に示したように、これらの文字列をキャプションとしている。
【００３７】
すなわち、全体図表領域のキャプション４１１の登録処理は以下のとおりである。
【００３８】
まず、ＣＰＵ１０１は、文書データのレイアウト解析を行い、ブロック分割処理を実行する。そして、上述したとおり、ＣＰＵ１０１は、認識されたある図表要素（４０５，４０７，４０９）の領域に最も近傍する文字列（４０６，４０８，４１０）をその図表要素のキャプション（図表領域全体のサブキャプション）として当該図表要素と関連付けて外部記憶装置１０５に登録する。
【００３９】
そして、ＣＰＵ１０１は、ある図表要素の領域の上下左右の領域端から所定の範囲内に近傍する他の図表要素の領域が存在するか否かを判断する。存在する場合、ＣＰＵ１０１は、それらが包含される領域全体を全体図表領域として外部記憶装置１０５に登録する。
【００４０】
さらに、ＣＰＵ１０１は、全体図表領域から所定の範囲内に近傍し、図表領域内の図表要素に関連付けられていない１〜２行程度の文字列４１１が記述された領域が存在するか否かを判断する。このような領域が存在する場合、ＣＰＵ１０１は、全体図表領域のキャプションとして外部記憶装置１０５に登録する。
【００４１】
このように、第１の実施の形態では、レイアウト解析を行い、そのレイアウト解析によりテキスト情報（キャプション）と非テキスト情報（図表）を識別し、これらの位置関係等に基づいてキャプションと図表との対応関係、キャプション同士の関係等を認定している。
【００４２】
なお、レイアウト解析を行なった後、或いはレイアウト解析と並行して、図表等の非テキスト情報それ自体の構造、属性等の特徴を解析して、当該非テキスト情報を検索するための検索用メタデータを抽出することも可能である。例えば、円グラフ、図面等それ自体の中に記述されている文字列を探索する。そして、その文字列を当該円グラフ、図面等の周辺の文字ブロックの中から探索し、その文字列を含む文章を解析して当該円グラフ、図面等の特徴、属性等を認識する。解析された文章の一部の文字列等を当該円グラフ、図面等の検索用メタデータとして抽出するように構成してもよい。
【００４３】
次に、文書データ中の図表要素群によって構成される全体図表領域、及び個別図表領域を構成する図表要素（個別の図表，画像情報）を検索するための検索用メタデータを抽出・登録する処理を、図６のフローチャートに基づいて説明する。
【００４４】
まず、ＣＰＵ１０１は、文書データのレイアウトの解析結果に基づいて、図表要素領域を抽出する。ここでは、図４の１ページ分の文書データがレイアウト解析された結果、図５に示すように、図４の下半分の図表要素が取り出されたものとして説明する。  
【００４５】
次に、ＣＰＵ１０１は、上述したように、抽出した各図表要素のキャプション情報（全体図表領域のサブキャプション情報）および全体図表領域のキャプション情報を抽出する。図４，５では、図４の「商品Ｎｏ．１００  家具Ａ」４１１という全体図表領域のキャプション情報が抽出される。ここで、ＣＰＵ１０１は、全体図表領域の近傍にあってサブキャプション情報として登録されていない１〜２行程度のテキスト情報を全体図表領域のキャプション情報と判断する。そして、ＣＰＵ１０１は、抽出した全体図表領域のキャプション情報を、当該全体図表領域を検索するための検索用メタデータとして外部記憶装置１０５に登録する。
【００４６】
すなわち、ＣＰＵ１０１は、取り出されていない図表要素が存在するか否かを判別する（ステップＳ６０１）。ＣＰＵ１０１は、取り出されていない図表要素が存在しなければ、処理を終了する。一方、取り出されていない図表要素が存在すれば、ステップＳ６０２に進む。なお、図４の例では、図表要素４０５，４０７，４０９が存在する。
【００４７】
ステップＳ６０２において、ＣＰＵ１０１は、１つの図表要素に対応するキャプション情報、すなわちサブキャプション情報を抽出する。上記の例では、図４に示した図表要素４０５のサブキャプション４０６が抽出されたものとする。そして、図表要素４０５とそれに対応するサブキャプション４０６の関連付けを行い、外部記憶装置１０５に登録する。
【００４８】
次に、ＣＰＵ１０１は、上述したように、図表要素を包含する図表領域を認識し、全体図表領域とする。その全体図表領域のキャプションを抽出し、当該全体図表領域との関連付けを行い外部記憶装置１０５に登録する（ステップＳ６０３）。
【００４９】
次に、ＣＰＵ１０１は、ステップＳ６０３での解析結果に基づいて、全体図表領域のキャプションと図表要素のサブキャプションとの関係、あるいは全体図表領域のキャプションに対する図表要素のサブキャプションの役割を解析する（ステップＳ６０４）。上記の例では、全体図表領域のキャプションである「商品Ｎｏ．１００家具」と図表要素４０５のサブキャプションである「側面図」の関係が、例えば自然言語の単語間の一番簡単な関係である修飾関係にあることが解析される。
【００５０】
次に、ＣＰＵ１０１は、キャプションとステップＳ６０２〜Ｓ６０４で抽出・解析した図表要素のサブキャプションとの関係等の特徴情報を、当該図表要素を検索するための検索用メタデータとして外部記憶装置１０５等の記憶媒体に登録する（ステップＳ６０５）。すなわち、ＣＰＵ１０１は、キャプションとサブキャプションが修飾関係にある旨の情報も登録する。さらに、ＣＰＵ１０１は、検索等メタデータと、その検索用メタデータで検索されるべき図表要素、及びキャプション（サブキャプションを含む）とを関連付けて外部記憶装置１０５に登録する。
【００５１】
そして、ＣＰＵ１０１は、ステップＳ６０４に戻ることにより、ステップＳ６０５〜６０８の処理を施していない図表要素が残っている場合には、その図表要素についてステップＳ６０５〜６０８の処理を行なう。なお、図６の処理は、文書の各ページの各図表要素に対して実行される。
【００５２】
図７は、ＣＰＵ１０１が図４の文書データに対してレイアウト解析を行ない、図５のレイアウト解析結果を得た後、図６の検索用メタデータの登録処理を行なったときの概念図である。番号７０１が全体図表領域とそのキャプションを示している。また、番号７０２〜７０４は、図表要素とそのキャプション（全体図表領域のサブキャプション）を示している。
【００５３】
図７に示したように、図４の文書データの全体図表領域を検索するための検索用メタデータとしては、当該文書データ中の全てのキャプション、サブキャプションである「商品Ｎｏ．１００  家具Ａ」、「側面図」、「脚の拡大図」、「全体図」が登録されている。また、図４の文書データの図表要素４０５を検索するための検索用メタデータとしては、図４の文書データの全体図表領域のキャプション「商品Ｎｏ．１００  家具Ａ」と共に、図表要素４０５のサブキャプションである「側面図」が登録されている。また、キャプション「商品Ｎｏ．１００  家具Ａ」とサブキャプション「側面図」は、「修飾」の関係にあることも登録されている。
【００５４】
また、図４の文書データの図表要素４０７を検索するための検索用メタデータとしては、図４の文書データのキャプション「商品Ｎｏ．１００  家具Ａ」と共に、図表要素４０７のサブキャプションである「脚の拡大図」が登録されている。また、キャプション「商品Ｎｏ．１００  家具Ａ」とサブキャプション「脚の拡大図」は、「修飾」の関係にあることも登録されている。同様に、図４の文書データの図表要素４０９を検索するための検索用メタデータとしては、図４の文書データのキャプション「商品Ｎｏ．１００  家具Ａ」と共に、図表要素４０９のサブキャプションである「全体図」が登録されている。また、キャプション「商品Ｎｏ．１００  家具Ａ」とサブキャプション「全体図」は、「修飾」の関係にあることも登録されている。
【００５５】
なお、例えば、『商品Ｎｏ．１００  家具Ａ―（修飾）―側面図』という検索用メタデータは、間接的ではあるが、『全体図―修飾側面図』という修飾関係も示すため、このような全体図と側面図の関係なども検索用メタデータとして抽出して登録することも可能である。換言すれば、個別の非テキスト情報同士の関係、すなわちサブキャプション同士の関係を検索用メタデータとして用いることも可能である。
【００５６】
次に、検索処理について説明する。文書データ中の図表等の非テキスト情報を検索する場合は、ユーザにより入力された検索条件としての文字列と類似する検索用メタデータが用いられる。
【００５７】
例えば、「イスＡの側面図」という文字列が検索条件として入力されたものとする。この場合、ＣＰＵ１０１は、図８に示したように、検索条件である「イスＡの側面図」という文字列を形態素解析して単語に分解し、その単語の品詞や分類別に検索指示情報としての重要度を決める。また、ＣＰＵ１０１は、修飾関係が「Ａ」と「側面」の間に存在することを認定する。さらに、図示省略したが、ＣＰＵ１０１は、検索用メタデータについても、検索条件と同様の処理を行なう。
【００５８】
そして、ＣＰＵ１０１は、検索条件に係る単語と意味が似ている単語を含む検索用メタデータを探し、それら単語同士の意味の類似度を検索条件と当該検索用メタデータの類似度とする。また、ＣＰＵ１０１は、検索条件に係る単語と意味が類似する単語を検索用メタデータが多く含むほど、その検索用メタデータの検索条件に対する類似度を高く評価する。さらに、ＣＰＵ１０１は、検索条件中の類似に係る単語同士の修飾関係と、検索用メタデータ中の類似に係る単語同士の修飾関係とが類似している場合は、その検索用メタデータの検索条件に対する類似度をより一層高く評価する。
【００５９】
そして、ＣＰＵ１０１は、検索条件と類似する検索用メタデータと関連付けられた図表等の非テキスト情報を、検索結果として表示器１０６に表示する。この場合、ＣＰＵ１０１は、検索条件との類似度が高く評価された検索用メタデータの順に検索処理を行なうと共に、その検索順に、当該検索用メタデータに関連付けられた非テキスト情報を配列して表示器１０６に表示させる。
【００６０】
例えば、「イスＡの側面図」を検索条件とした場合、類似度の評価の高い非テキスト情報の順番は、図７に示す番号７０２，７０１，７０３，７０４の順番に検索結果として表示される。
【００６１】
また、「商品Ｎｏ．家具Ａ」を検索条件とした場合、最も評価の高い非テキスト情報は、番号７０１となり、続いて番号７０２〜７０４が同じ類似度となる。すなわち、検索結果として番号７０１が先頭に表示され、番号７０２〜７０４が順不同に表示される。
【００６２】
以上説明したように、非テキスト情報の領域と個別の非テキスト情報との関係を加味した検索用データを用いて非テキスト情報の領域、個別の非テキスト情報を検索できるので、文書中の所望の非テキスト情報の領域、個別の非テキスト情報を高精度に検索することが可能となる。
【００６３】
なお、非テキスト情報を検索するための検索用メタデータは、当該非テキスト情報が属する領域だけでなく、その近傍のテキスト領域から抽出することも可能である。また、レイアウト解析だけでなく、キャプションの形態素解析、非テキスト情報の構造や関係の論理的な解析を行なうことにより、より詳細な検索用データの関係を得ることも可能である。この場合は、より一層、高精度に非テキスト情報、その構成要素を高精度に検索できるようになる。
【００６４】
［第２の実施の形態］
第２の実施の形態は、表の項目名（項目の見出し）を第１の実施の形態における図表要素のキャプションと同様に扱って、表を検索するための検索用メタデータを抽出する形態である。
【００６５】
例えば、図９の１ページ分の文書データ１００１は、文章１００２、見出し１００３で始まる文章１００４、表１００５、表１００５のキャプション１０１０、及びページ番号１０１１を有する。
【００６６】
また、表１００５には、縦の列の項目名１００６、横の列の項目名１００７と、項目値１００８，１００９等が記述されている。
【００６７】
このような表に対して、本実施の形態のＣＰＵ１０１の処理は、表の項目名を第１の実施の形態における図表要素のキャプション（すなわち、サブキャプション）としてみなし、図９の表領域に対して第１の実施の形態に係る図６の処理を実行する。これによって図１０のような検索用メタデータを抽出して登録することができる。
【００６８】
本実施の形態では、ＣＰＵ１０１は、図１０において、表領域全体に対する検索用メタデータとして、表１００５のキャプションである「商品別年間売上」、最も左に配置された縦の列の項目名である「２０００年」、「２００１年」を抽出する。さらに、最も上に配置された横の列の項目名である「商品Ａ」、「商品Ｂ」、「商品Ｃ」を抽出する。
【００６９】
また、表の構成要素である各項目値に対する検索用メタデータとして、「１００個」等の当該項目値自体、「商品別年間売上」等の表のキャプション、当該項目値に対応する縦の列の項目名（２０００年等）、及び横の列の項目名（商品Ｂ等）が抽出されている。
【００７０】
さらに、表のキャプションである「商品別年間売上」と縦の列の項目名「２０００年」等との間に修飾関係があり、縦の列の項目名「２０００年」等と横の列の項目名「商品Ｂ」等との間に修飾関係があることが抽出されている。
【００７１】
なお、表のキャプションである「商品別年間売上」は、表の特徴・属性を表し、表の項目名である「２００年」、「商品Ｂ」等、及び項目値である「１００個」等は、表それ自体の構成要素である。すなわち、『１００個、商品別年間売上−（修飾）−２００年−（修飾）−商品Ｂ』といった検索用メタデータは、非テキスト情報とその構成要素との関係、及び構成要素同士の関係を示している。
【００７２】
換言すれば、第２の実施の形態では、ＣＰＵ１０１の処理として、非テキスト情報とその構成要素との関係、及び構成要素同士の関係を解析し、この解析結果に基づいて、非テキスト情報、又はその構成要素を検索するための検索用メタデータを抽出する。
【００７３】
［第３の実施の形態］
第１，２の実施の形態では、全体図表領域の中から当該領域の図表要素に対する検索用メタデータを抽出していたが、第３の実施の形態では、更に、検索対象の図表の近傍のテキスト領域からも当該図表に対する検索用メタデータを抽出する形態である。
【００７４】
すなわち、一般に、図表の近傍のテキストの中には、その図表について説明した言語表現が含まれている可能性が高い。そこで、図表それ事態の説明であるキャプションや、その図表の要素の説明であるサブキャプションと類似する言語表現を近傍のテキスト領域から探して、その言語表現を検索用メタデータとして抽出する。類似する言語表現を探索する方法は、第１の実施の形態における検索時の方法と同様である。
【００７５】
次に、第３の実施の形態におけるＣＰＵ１０１によって実行される検索用メタデータの抽出処理を、図１１のフローチャートに基づいて説明する。なお、図１１のステップＳ１２０１〜Ｓ１２０８の処理は、図６のフローチャートのステップＳ６０１〜Ｓ６０８と全く同様なので、ここでは、ステップＳ１２０９以降の処理だけを説明する。
【００７６】
ＣＰＵ１０１は、ステップＳ１２０９では、次のような処理を行なう。まず、ステップＳ１２０４で取り出した図表要素の近傍のテキスト領域の文字列と、ステップＳ１２０２で抽出した図表領域全体のキャプションの文字列、及びステップＳ１２０５で抽出した図表要素のサブキャプションの文字列を形態素解析する。そして、ＣＰＵ１０１は、その形態素解析結果に基づいて、図表要素の近傍のテキスト領域の文字列の中の単語の意味や各単語同士の関係を当該テキスト情報の特徴情報として抽出する。同様に、ＣＰＵ１０１は、図表領域全体のキャプションの文字列、図表要素のサブキャプションの文字列についても、それら文字列の中の単語の意味や各単語同士の関係を当該キャプション、サブキャプションの特徴情報として抽出する。
【００７７】
次に、ＣＰＵ１０１は、キャプションやサブキャプションの特徴情報と類似する特徴情報を持つ文字列をテキスト情報である文章４０２，４０４の中から探索する。すなわち、ＣＰＵ１０１は、キャプションやサブキャプションに含まれる単語と類似する単語を含む文字列を上記テキスト情報の中から抽出する。なお、探索範囲としては、ページ内のテキスト情報から探索してもよいし、前後１ページを含むテキスト情報から探索してもよい。
【００７８】
この場合、ＣＰＵ１０１は、探索されたテキスト情報中の文字列のキャプション、又はサブキャプションに対する類似度を算出する。また、ＣＰＵ１０１は、意味が類似する単語を多く含むほど、その文字列のキャプション、又はサブキャプションに対する類似度を高く評価する。このような類似度の評価は公知の技術であるので、その説明を省略する。さらに、ＣＰＵ１０１は、キャプション、又はサブキャプション中の単語間の関係と、探索された文字列中の類似に係る単語同士の修飾関係等の関係とが類似している場合は、その文字列の類似度をより一層高く評価する。このような評価によって、キャプションやサブキャプションに含まれる単語と類似する単語を含む文字列がテキスト情報の中から抽出する。
【００７９】
以上のステップＳ１２０９の検索用メタデータの抽出処理により、例えば、図表要素である図表要素４０７に着目した場合は、文字列「床を傷つけないように脚部の設置方式に工夫を施した家具Ａ」が抽出される。同様に、図９の表の項目名「商品Ｂ」に着目した場合は、「商品Ｂの売り上げ個数の２００１年の急速な拡大であり」といった文字列が抽出されることとなる。
【００８０】
次に、ＣＰＵ１０１は、キャプション、サブキャプションの特徴情報と類似する特徴情報を持つ文字列を文章４０４の中から抽出できたか否かを判別する（ステップＳ１２１０）。その結果、抽出できなかった場合は、ＣＰＵ１０１は、ステップＳ１２０４に戻る。
【００８１】
一方、抽出できた場合は、ＣＰＵ１０１は、その類似する特徴情報を持つ上記テキスト情報の中の文字列を、上記図表要素に対する検索用メタデータとして登録し（ステップＳ１２１１）、ステップＳ１２０４に戻る。
【００８２】
なお、ステップＳ１２１１において、テキスト情報から抽出した文字列が、全体図表領域のキャプションと図表要素のサブキャプションの両方に類似している場合には、その文字列を図表要素、及び全体図表領域に対する検索用キャプションとして登録する。また、テキスト情報から抽出した文字列が、図表領域全体のキャプション、図表要素のサブキャプションの何れか一方にだけ類似している場合には、その文字列を類似している方に対する検索用メタデータとして登録する。さらに、検索用メタデータを登録する場合は、上記の類似度も登録する。
【００８３】
また、本発明の目的は、前述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【００８４】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した各実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８５】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００８６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【００８７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００８８】
【図１】本発明の第１〜３の実施の形態に係る情報処理装置の基本構成を示すブロック図である。
【図２】第１の実施の形態を説明するための第１の文書例を示す図である。
【図３】図２の文書のレイアウト解析の解析結果をＸＭＬで記述した図である。
【図４】第１の実施の形態を詳細に説明するための第２の文書例を示す図である。
【図５】図４の文書のレイアウト解析の解析結果を示す概念図である。
【図６】第１，第２の実施の形態における検索用メタデータの抽出処理を示すフローチャートである。
【図７】図４の文書に対して図６の処理を行なった場合の登録状態を示す概念図である。
【図８】検索処理を行なう場合の検索条件に係る文字列の解析例を示す概念図である。
【図９】第２の実施の形態を説明するための文書例を示す図である。
【図１０】図９の文書に対して図６の処理を行なった場合の登録状態を示す概念図である。
【図１１】第３の実施の形態における検索用メタデータの抽出処理を示すフローチャートである。
【符号の説明】
【００８９】
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０４…入力部
１０５…外部記憶装置
１０６…表示器
【図１】
2007310503.tif 000003
【図２】
2007310503.tif 000004
【図３】
2007310503.tif 000005
【図４】
2007310503.tif 000006
【図５】
2007310503.tif 000007
【図６】
2007310503.tif 000008
【図７】
2007310503.tif 000009
【図８】
2007310503.tif 000010
【図９】
2007310503.tif 000011
【図１０】
2007310503.tif 000012
【図１１】
2007310503.tif 000013