(57)【特許請求の範囲】
【請求項１】
異なる属性のデータを含む電子文書を処理することが可能な情報処理装置であって、
前記電子文書に含まれるデータの配置構造を属性単位に解析するレイアウト解析手段と、
前記レイアウト解析手段により解析された第１属性のデータの配置構造と、当該第１属性のデータを参照する第２属性のデータの配置構造とを比較する比較手段と、
前記比較手段の比較結果において、前記第１属性のデータの配置構造と前記第２属性のデータの配置構造とが相違すると判定された場合に、一方の配置構造に含まれ、他方の配置構造に含まれない配置構造を追加データとして生成して、前記他方の配置構造に追加する変更手段と、
前記変更手段により生成された前記追加データを、前記第１属性のデータと前記第２属性のデータとを関係づける検索用データとして登録する登録手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記変更手段は、前記比較手段の比較結果により生成された前記追加データに基づき、前記第１属性のデータの配置構造または前記第２属性のデータの配置構造を変更することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記変更手段により複数の追加データが生成された場合、前記登録手段は、当該複数の追加データそれぞれに重要度を示す定量的なデータを設定し、検索用データとして登録することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第１属性のデータには動画、静止画、図表データが含まれ、前記第２属性のデータにはテキストデータが含まれることを特徴とする請求項１または２に記載の情報処理装置。
【請求項５】
異なる属性のデータを含む電子文書を処理することが可能な情報処理方法であって、
前記電子文書に含まれるデータの配置構造を属性単位に解析するレイアウト解析工程と、
前記レイアウト解析工程で解析された第１属性のデータの配置構造と、当該第１属性のデータを参照する第２属性のデータの配置構造とを比較する比較工程と、
前記比較工程の比較結果において、前記第１属性のデータの配置構造と第２属性のデータの配置構造とが相違すると判定された場合に、一方の配置構造に含まれ、他方の配置構造に含まれない配置構造を追加データとして生成して、前記他方の配置構造に追加する変更工程と、
前記変更工程により生成された前記追加データを、前記第１属性のデータと前記第２属性のデータとを関係づける検索用データとして登録する登録工程と、
を有することを特徴とする情報処理方法。
【請求項６】
前記変更工程は、前記比較工程の比較結果により生成された前記追加データに基づき、前記第１属性のデータの配置構造または前記第２属性のデータの配置構造を変更することを特徴とする請求項５に記載の情報処理方法。
【請求項７】
前記変更工程により複数の追加データが生成された場合、前記登録工程は、当該複数の追加データそれぞれに重要度を示す定量的なデータを設定し、検索用データとして登録することを特徴とする請求項５に記載の情報処理方法。
【請求項８】
前記第１属性のデータには動画、静止画、図表データが含まれ、前記第２属性のデータにはテキストデータが含まれることを特徴とする請求項５または６に記載の情報処理方法。
【請求項９】
コンピュータに、
電子文書に含まれるデータの配置構造を属性単位に解析するレイアウト解析工程と、
前記レイアウト解析工程で解析された第１属性のデータの配置構造と、当該第１属性のデータを参照する第２属性のデータの配置構造とを比較する比較工程と、
前記比較工程の比較結果において、前記第１属性のデータの配置構造と第２属性のデータの配置構造とが相違すると判定された場合に、一方の配置構造に含まれ、他方の配置構造に含まれない配置構造を追加データとして生成して、前記他方の配置構造に追加する変更工程と、
前記変更工程により生成された前記追加データを、前記第１属性のデータと前記第２属性のデータとを関係づける検索用データとして登録する登録工程と、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画、静止画、音声データ、テキストなどを構成要素として含む電子文書（以下、「マルチメディア文書」ともいう。）を検索、利用する技術に関するものである。
【背景技術】
【０００２】
近年、デジタルデータの処理・通信技術の発達により、動画、静止画、音声、テキストなどが混在したマルチメディア文書を扱うことが可能なシステムが提供されている。かかるシステムによれば、マルチメディア文書をコンテンツとして作成し、記録（蓄積）することが可能であり、また、蓄積したマルチメディア文書を検索し、利用することも可能である。
【０００３】
マルチメディア文書の各構成要素（動画、静止画、音声データ、テキストなど）に着目し、検索を実現する技術は動画、静止画、音声、テキストなどのそれぞれについて、検索に使用する技術が異なる。そのため、動画、静止画、音声データ、テキストなどのうちから必要な情報を検索する場合、個別の検索技術の適用が必要となる。特定の構成要素として動画、静止画、音声、テキストを検索する際に、各構成要素自体の情報と、マルチメディア文書内の他の情報とを組み合わせ、各構成要素を特徴付けた検索技術がある。この検索技術によると、例えば、静止画の検索において、マルチメディア文書内の他の情報として、文書中のタイトルや静止画の説明文などが組み合わされて、静止画が特徴付けられている。この検索技術では、静止画等を特徴付ける情報として、その静止画に対するマルチメディア文書中のタイトルや、説明文などのテキストをどのように獲得するかが問題である。例えば、特許文献１においては、マルチメディア文書中の画像情報に関連するテキスト情報を抽出し、検索対象のテキストの規模に関する情報を抽出し、検索時に利用している。
【特許文献１】特開２０００−３０６１０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１では、検出対象の画像と本文の関係は特定しているが、画像と本文のレイアウト（配置構造）を合わせる情報処理は行っていない。そのため、マルチメディア文書内の検索や利用を行う場合、文章の記載と対応する図表など、構成要素間の関係が正確に捉えられないことになり、検索対象を効率的に精度よく検索し、利用することが困難になるという問題がある。
【課題を解決するための手段】
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、マルチメディア文書中から検索対象を効率的に精度よく検索し、利用することを可能にする技術の提供を目的とする。
【０００６】
上記の目的を達成するべく、本発明にかかる情報処理装置は、異なる属性のデータを含む電子文書を処理することが可能な情報処理装置であって、
前記電子文書に含まれるデータの配置構造を属性単位に解析するレイアウト解析手段と、
前記レイアウト解析手段により解析された第１属性のデータの配置構造と、当該第１属性のデータを参照する第２属性のデータの配置構造とを比較する比較手段と、
前記比較手段の比較結果において、前記第１属性のデータの配置構造と前記第２属性のデータの配置構造とが相違すると判定された場合に、一方の配置構造に含まれ、他方の配置構造に含まれない配置構造を追加データとして生成して、前記他方の配置構造に追加する変更手段と、
前記変更手段により生成された前記追加データを、前記第１属性のデータと前記第２属性のデータとを関係づける検索用データとして登録する登録手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明に拠れば、マルチメディア文書中から検索対象を効率的に精度よく検索し、利用することが可能になる。
【発明を実施するための最良の形態】
【０００８】
本発明の実施形態を添付図面の参照により説明する。図１は、本発明の実施形態にかかる情報処理装置の内部構成を概略的に説明する図である。
【０００９】
同図において、ＣＰＵ１０１は情報処理装置における各種制御を実行する。ＲＯＭ１０２は情報処理装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。ＲＡＭ１０３はＣＰＵ１０１が処理するための制御プログラムを格納するとともに、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。
【００１０】
入力部１０４はキーボード、マウス、スタイラスペン、ダイヤルなどから構成され、ユーザによる各種入力操作環境を提供する。
【００１１】
外部記憶装置１０５はハードディスクやフロッピー(登録商標)ディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、記憶媒体を駆動し、情報を記録するドライブなどで構成される。外部記憶装置１０５はマルチメディア文書やそれを検索、再利用する際に使用する情報などを記録し、利用することが可能な記憶容量を有するものとする。情報処理装置が検索サーバとして、検索サービスを提供する場合、検索用付加情報を検索用のメタデータとして外部記憶装置１０５に格納する。
【００１２】
表示部１０６はディスプレイなどで構成され、各種入力操作の状態をユーザに対して表示する。通信部１０７は他の機器と通信を行うための構成要素であり、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、Ethernet(登録商標)などの有線通信機能を有する。また、通信部１０７は Bluetooth、赤外線通信、IEEE802.11b等の無線通信の各種通信機能を有する。１０８はＬＡＮであり、通信部１０７はＬＡＮ１０８を介して情報処理装置を他の機器と通信することが可能である。コネクタ１０９は通信部１０７を介して情報処理装置を他の機器と接続するためのコネクタである。コネクタ１０９の先に、記憶装置や、他の機器を接続して情報処理装置から記憶装置等を利用することが可能になる。
【００１３】
１１５は、撮像ユニットであり、動画または静止画を撮影することが可能である。情報処理装置内の各構成要素は内部バス１１０により接続されており、相互にデータの送受信が可能である。情報処理装置は、ＬＡＮ１０８、通信部１０７を介して他の装置から送信されたマルチメディア文書を外部記憶装置１０５に格納することも可能である。また、情報処理装置は、撮像ユニット１１５により撮像された静止画等と入力部１０４により入力された文書等とを組み合わせたマルチメディア文書を生成することが可能である。情報処理装置は、生成したマルチメディア文書を外部記憶装置１０５に格納することが可能である。
【００１４】
図２は、本実施形態で処理の対象となるマルチメディア文書２０１の１ページ分の構成例を例示した図である。２０２はマルチメディア文書２０１の文書部分を示し、２０３は文書の見出しを示す。見出し２０３には、文書部分２０４、グラフ２０５、キャプション（説明文）２０６、グラフ２０７、キャプション（説明文）２０８、グラフ２０９、キャプション２１０、ページ番号２１１が含まれる。
【００１５】
図３は、情報処理装置のＣＰＵ１０１がマルチメディア文書２０１のレイアウト解析を行った結果を記述する基本部分のデータ構成を例示する図である。図中右に示す（３−１）から（３−３２）は、レイアウト解析結果の各行番号に対応したものである。尚、レイアウト解析結果の表示は、図３に示すＸＭＬ形式に限定されるものでなく、ＳＧＭＬ形式など他の構造化文書により表記することも可能である。
【００１６】
（３−１）行目はページの開始を示すもので、マルチメディア文書２０１のページ番号が１１であることを示している。また、（３−３２）行は該当ページの終了を示している。
【００１７】
（３−２）から（３−４）行目までは、該当ページの大きさを特定するための情報を記述している。ページ左上を原点（Ｏ）とし、ｙ軸をページ下方向に正方向、ｘ軸を右方向に正方向とするｘ−ｙ座標系で記述している（図２）。
【００１８】
ここでは、（３−３）行目において、ｘ方向に６００、ｙ方向に９００の大きさであると記述されている。以下、位置や大きさなどの情報は、この座標系により記述するものとする。尚、ページの大きさは、縦横の数値に限らず、Ａ４、Ｂ５等の規格により特定してもよいし、ｍ行ｘｎ列等のページレイアウトの設定値により特定することも可能である。
【００１９】
（３−５）から（３−３１）行目は、ページ内の構成要素を列挙したもので、各構成要素をブロック(Ｂｌｏｃｋ)という単位で表現している。ここで、（３−６）から（３−２１）行目は、図２に示すマルチメディア文書２０１の文書部分２０２、見出し２０３、文書部分２０４の文章領域のブロックを表現したものである。
【００２０】
（３−６）行目は、レイアウト解析により付されたブロックを識別するための番号（以下、「ブロック識別番号」という。）が「１１０１」であること、データの属性が文章を入れるテキスト形式のブロックであることを示している。
【００２１】
（３−７）から（３−９）行目はブロック識別番号１１０１により特定されるブロックのページ内における位置情報が示されている。（３−８）行目において、位置情報は（５０、４０）と記述されており、この位置情報は文書部分２０２、見出し２０３及び文書部分２０４を含む文書領域のブロックにおける点Ｇ１に対応する（図２を参照）。
【００２２】
（３−１０）から（３−１２）行目は、文書領域のブロックの大きさ(サイズ)の情報が示されている。図３において、サイズは（ｘ、ｙ）＝（４００、５００）である。文書領域のブロックの点Ｇ１を基準として、サイズの情報に基づいて、文書領域のブロックのページ内における位置とサイズを特定することが可能になる。
【００２３】
（３−１３）から（３−２０）行目は、文書領域のブロックで記述されている内容が示されている。この文章は、紙媒体などからスキャンした場合には、文字認識などの技術を用いることで、画像から文字やテキスト情報に変換することで実現される。あるいは、ＬＡＮ１０８を介して、他の装置から送信されてくる電子データに基づいてテキスト情報等を取得することも可能である。
【００２４】
（３−１５）行目は、見出し部分２０３に相当する内容であって、見出しの番号が「５」であること、見出しのタイトルが「客層の分析」という内容であることを示すＸＭＬ情報が記述されている。そして、（３−１６）行目には、テキストデータの内容か記述される。
【００２５】
（３−１７）〜（３−１９）行目は箇条書きの項目であることを示すＸＭＬ情報が記述されている。（３−１８）行目には、箇条書きの項目の文書部分に相当する内容が記述されており、「スキー客」という表現がアンダーラインつきの表現であることを示すＸＭＬ情報（タグ＜ＵＬ＞および＜/ＵＬ＞）が記述されている。
【００２６】
（３−２２）行目は、レイアウト解析により付されたブロック識別番号」が「１１０２」であること、データの属性が図形を入れるグラフ形式のブロックであることを示している。
【００２７】
（３−２３）から（３−２５）行目はブロック識別番号１１０２により特定されるブロックのページ内における位置情報が示されている。（３−２４）行目において、位置情報は（６０、５６０）と記述されており、この位置情報は円グラフ２０５、円グラフ２０７を含む図形領域のブロックにおける点Ｇ２に対応する（図２を参照）。
【００２８】
（３−２６）から（３−２８）行目は、グラフ形式のブロックの大きさ(サイズ)の情報が示されている。図３において、サイズは（ｘ、ｙ）＝（１００、８０）である。グラフ形式のブロックの点Ｇ２を基準として、サイズの情報に基づいて、グラフ形式のブロックのページ内における位置とサイズを特定することが可能になる。
【００２９】
（３−２９）〜（３−３１）行目は、グラフ２０５（Ｇｒａｐｈ１）、グラフ２０７（Ｇｒａｐｈ２）、グラフ２１０（Ｇｒａｐｈ３）が記述されている。尚、各種グラフに限られず、表形式の表示、写真や描画データなどをマルチメディア文書の構成要素とすることも可能である。
【００３０】
レイアウト解析の結果、マルチメディア文書２０１に含まれる構成要素（文書部分２０２等、グラフ２０５等）が抽出される。構成要素はブロックごとに、ブロック識別番号、属性情報、ブロックの位置情報、サイズ情報、文書またはグラフ等が抽出される。
【００３１】
ＣＰＵ１０１は外部記憶装置１０５に保存されたマルチメディア文書に対してレイアウト解析を行う。そして、レイアウト解析の結果から構成要素ごとに（ブロックごとに）特徴量を抽出し、これをメタデータとして、その特徴量を処理可能な検索用の情報として、外部記憶装置１０５に登録することが可能である。レイアウト解析に基づく特徴量の抽出により、様々なマルチメディア文書の記録されている様々なフォーマットに依存することなく、検索が可能になる。更に、検索時にメタデータの検索だけを処理すればよいので、検索処理に要する処理時間を短縮することが可能になる。この処理により、様々なマルチメディア文書の記録されている様々なフォーマットに依存することなく、検索、利用が容易になる。
【００３２】
図４は、図２に示したマルチメディア文書に対して行ったレイアウト解析の結果（図３）を概略的に示す図である。
【００３３】
４０１はページ番号に対応する部分であり、４０２は図２の文章部分２０２に対応するテキストデータが配置される。４０３は図２の見出し２０３に対応し、４０４は見出し２０３の次の行の文書部分に対応するテキストデータが配置されている。
【００３４】
４０５は図２の箇条書き部分を示し、この中には、箇条書き項目（４０６、４０９）が含まれる。箇条書き項目４０６の下には、箇条書き項目の内容（４０７、４０８）に関するテキストデータが配置されている。箇条書き項目の内容（４０７、４０８）中には、テキストデータと、この中で参照される図番号（３−ａ）、（３−ｂ）が記載されている。
【００３５】
４１０は図領域を示し、図領域４１０には、図番号（３−ａ）、図番号（３−ｂ）、図番号（３−ｃ）に対応する図表データが配置される（４１２、４１３、４１４）。以下の説明では図表データを例としているが、この他、動画、静止画であってもよい。
【００３６】
箇条書き部分４０５のデータの配置構造（４０６〜４０９）と、図領域４１０のデータの配置構造（４１２〜４１４）とを比較すると、箇条書き項目４０６に対応するデータが図領域４１０に無い点で両者は相違する。
【００３７】
箇条書き部分が、順番に意味を持たせた記載であったり、対立に意味を持たせた記載であったりする場合、参照される各図表データ（４１２、４１３、４１４）も同様の関係が成立することが多い。このため、文書部分と図表部分との配置構造を合わせることで、マルチメディア文書内の構成要素の関係をより正確に捉えることが可能となる。
【００３８】
図５は、本実施形態における、マルチメディア文書内の文書部分と図表部分との配置構造を合わせる処理の流れを説明する図である。この処理は情報処理装置におけるＣＰＵ１０１の制御の下に実行されるものとする。
【００３９】
ステップＳ５０１で処理を開始し、ステップＳ５０２において、外部記憶装置１０６等内にあるマルチメディア文書に対してレイアウト解析を行う。
【００４０】
ステップＳ５０３において、レイアウト解析の結果から得られた図形又は表形式のデータ（図表データ）から選択した図表に対するキャプションの有無を検索する。ここでは、例として、図２のグラフ２０５、２０７、２０９が選択されたものとする。キャプションが無いと判定された場合は処理を終了し、キャプションがあると判定された場合、処理をステップＳ５０４に進める。ここで、図２の２０６、２０８、２１０がキャプションとして検索される。
【００４１】
ステップＳ５０４において、近傍のテキスト形式のデータブロックに、キャプション２０６、２０８、２１０と同じテキスト（表現）を含むデータを検索する。
【００４２】
ステップＳ５０５において、キャプション２０６、２０８、２１０と同じテキスト（表現）を含むデータが検索されなかった場合、処理は終了する。一方、ステップＳ５０５の判定で、キャプション（説明文）２０６、２０８、２１０と同じテキスト（表現）を含むデータが検索された場合、処理はステップＳ５０６に進められる。
【００４３】
ステップＳ５０６において、キャプション（説明文）の配置構造と、キャプション（説明文）と同じテキスト（表現）を含む文書部分のデータの配置構造が同じか否かを判定する。具体的には、図４において、キャプション（３−ａ、ｂ、ｃ）の図表データ（４１２〜４１４）の配置構造と、キャプション（３−ａ、ｂ、ｃ）を含む文書部分（箇条書き部分）（４０７〜４０９）の配置構造とを比較する。これらの配置構造が同じであれば、処理をステップＳ５０９に進め処理を終了する。一方、配置構造が異なる場合、処理はステップＳ５０７に進められ、構造の複雑な方に合わせて配置構造が変更される。単純な構造に合わせた場合、複雑な配置構造を有するデータの一部が削除されるのを防止するためである。図４の場合、箇条書き項目４０６に対応するデータが図領域４１０に無い点で、文書部分（箇条書き部分）（４０７〜４０９）の配置構造の方が図表データ（４１２〜４１４）より複雑であると判定される。この判定結果により、キャプション（３−ａ、ｂ、ｃ）の図表データ（４１２〜４１４）の配置構造が文書部分（箇条書き部分）（４０７〜４０９）の配置構造に合わせて変更される。
【００４４】
配置構造の変更にいおいて、図６の６１５に示されるような追加データが生成される。この追加データは、図表データ（６１２、６１３）と文書部分（箇条書き部分）（４０７、４０８）とを関係づける検索用データとして機能する。追加データは検索用メタデータとして、外部記憶装置１０５等に格納（登録）され、図表データ（６１２、６１３）または文書部分（箇条書き部分）（４０７、４０８）の検索、利用に際して参照される。
【００４５】
ステップＳ５０８において、キャプション（３−ａ、ｂ、ｃ）の図表データ（４１２〜４１４）の配置構造を変更したレイアウト解析の結果を外部記憶装置１０５等に格納して処理を終了する。
【００４６】
図６は、キャプション「３−ａ」、「３−ｂ」、「３−ｃ」を含む文書部分（箇条書き部分）（４０７〜４０９）の配置構造に合わせて、対応する図表データ（４１２〜４１４）の配置構造を変更した結果を示す図である。配置構造を変更する前のレイアウト解析の結果を示す図４と同一部分は同一の参照番号を付している。
【００４７】
図表データ６１２、６１３の配置構造が、キャプション「３−ａ」、「３−ｂ」を含む文書部分（箇条書き部分）（４０７、４０８）の配置構造に合わせて変更されている。配置構造を合わせるためのデータとして、「図領域」６１５が生成され、図領域６１５の下に図表データ６１２、６１３が含まれるように配置構造が変更される。
【００４８】
これにより、箇条書き部分（４０５〜４０９）の記載（例えば、比較・対立・列挙などの関係）を、図領域（４１０、６１５、６１２、６１３、４１４）にも反映でき、相互の対応関係を明確にすることが可能になる。文書部分と図領域との配置構造を合わせることで、マルチメディア文書内の構成要素の関係をより正確に捉えることが可能となる。
【００４９】
箇条書き項目４０６に対応する図領域６１５は検索用のメタデータとして利用することが可能である。箇条書き部分４０７から対応する図表データを検索する場合、説明文の構文解析によらず箇条書き項目４０６に対応するメタデータ（図領域６１５）を検索することで、対応する図表データ６１２を検索し、利用することが可能になる。
【００５０】
同様に、図表データ６１２から対応する箇条書き部分４０７を検索する場合、構文解析によらず、図領域６１５と対応する箇条書き項目４０６を検索することで、図表に対応する箇条書き部分を検索し、利用することが可能になる。
【００５１】
尚、本実施形態において、検索用のメタデータとして利用することが可能なデータ（図領域６１５）は１つの場合を示したが複数でもよい。複数の検索用メタデータが生成される場合、各検索用メタデータに定量的な重要度を設定することが可能である。例えば、複数の検索用メタデータが階層構造となる場合、階層の深さを評価して、定量的な重要度を各検索用メタデータに設定してもよい。検索用メタデータの重要度の評価として、例えば、第１の階層の重要度を１００、第２の階層の重要度を８０、第３の階層の重要度を６０と、階層の深さに応じて重要度を定量化することも可能である。そして、この重要度を指標として検索の優先順位を決定することも可能である。
【００５２】
以上説明したように、本実施形態に拠れば、マルチメディア文書中から検索対象を効率的に精度よく検索し、利用することが可能になる。
【００５３】
（他の実施形態）
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給することによっても、達成されることは言うまでもない。また、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５４】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５５】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５６】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態にかかる情報処理装置の内部構成を概略的に説明する図である。
【図２】本発明の実施形態で処理の対象となるマルチメディア文書の１ページ分の構成例を例示した図である。
【図３】本発明の実施形態にかかるマルチメディア文書のレイアウト解析を行った結果を記述するデータ構成を示す図である。
【図４】図２に示したマルチメディア文書に対して行ったレイアウト解析の結果を概略的に示す図である。
【図５】本発明の実施形態における、マルチメディア文書内の文書部分と図表部分との配置構造を合わせる処理の流れを説明する図である。
【図６】キャプションを含む文書部分（箇条書き部分）の配置構造に合わせて、対応する図表データの配置構造を変更した結果を示す図である。
【図１】
0004822882.tif 000002
【図２】
0004822882.tif 000003
【図３】
0004822882.tif 000004
【図４】
0004822882.tif 000005
【図５】
0004822882.tif 000006
【図６】
0004822882.tif 000007