(57)【要約】【課題】検索した文書内の画像の内容を容易に把握可能にすることを目的とする。【解決手段】文書情報に基づいて、第一の抽出手段でメタデータとして抽出された文字情報に関連する、文書に含まれるテキスト領域に含まれる文字情報と、第二の抽出手段でメタデータとして抽出された文字情報に関連する、文書に含まれるテキスト領域に含まれる文字情報と、を画像のメタデータとして抽出する第三の抽出手段と、第三の抽出手段で抽出されたメタデータに、第一の抽出手段でメタデータとして抽出された文字情報に関連する文字情報であるか、第二の抽出手段でメタデータとして抽出された文字情報に関連する文字情報であるかに応じて異なる付加情報を付加する付加手段と、を有することによって課題を解決する。【選択図】図６
2011034504.tif 000002
【特許請求の範囲】
【請求項１】
テキスト及び画像を含む文書の構造に係る文書情報に基づいて、前記文書に含まれる画像に関連するテキスト領域の文字情報を前記画像のメタデータとして抽出する第一の抽出手段と、
前記文書情報に基づいて、前記文書に含まれる、前記画像を含むグループに関連するテキスト領域の文字情報を、前記画像を含むグループのメタデータとして抽出する第二の抽出手段と、
前記文書情報に基づいて、前記第一の抽出手段でメタデータとして抽出された文字情報に関連する、前記文書に含まれるテキスト領域に含まれる文字情報と、前記第二の抽出手段でメタデータとして抽出された文字情報に関連する、前記文書に含まれるテキスト領域に含まれる文字情報と、を前記画像のメタデータとして抽出する第三の抽出手段と、
前記第三の抽出手段で抽出されたメタデータに、前記第一の抽出手段でメタデータとして抽出された文字情報に関連する文字情報であるか、前記前記第二の抽出手段でメタデータとして抽出された文字情報に関連する文字情報であるかに応じて異なる付加情報を付加する付加手段と、
を有する文書処理装置。
【請求項２】
前記付加手段は、前記第一の抽出手段でメタデータとして抽出された文字情報に関連する文字情報にグループ内での差分であることを示す付加情報を付加し、前記前記第二の抽出手段でメタデータとして抽出された文字情報に関連する文字情報にグループ内で共通であることを示す付加情報を付加する請求項１記載の文書処理装置。
【請求項３】
前記第一の抽出手段で抽出されたメタデータと、前記第二の抽出手段で抽出されたメタデータと、前記第三の抽出手段で抽出されたメタデータと、前記付加手段で付加された付加情報と、を前記画像と関係付けて記憶装置に登録するメタデータ登録手段を更に有する請求項１又は２記載の文書処理装置。
【請求項４】
前記第一の抽出手段で抽出されたメタデータと、前記第二の抽出手段で抽出されたメタデータと、前記第三の抽出手段で抽出されたメタデータと、前記付加手段で付加された付加情報と、を前記文書情報に記憶するメタデータ記憶手段を更に有する請求項１又は２記載の文書処理装置。
【請求項５】
検索クエリに基づいて、前記記憶装置に記憶されているメタデータを検索し、前記検索の結果、取得された画像に関係するメタデータに前記付加情報が付加されていた場合、前記付加情報の種類に応じて、前記メタデータを区別可能に表示する検索手段を更に有する請求項３記載の文書処理装置。
【請求項６】
検索クエリに基づいて、前記文書情報に記憶されているメタデータを検索し、前記検索の結果、取得された画像に関係するメタデータに前記付加情報が付加されていた場合、前記付加情報の種類に応じて、前記メタデータを区別可能に表示する検索手段を更に有する請求項４記載の文書処理装置。
【請求項７】
文書処理装置が実行する文書処理方法であって、
テキスト及び画像を含む文書の構造に係る文書情報に基づいて、前記文書に含まれる画像に関連するテキスト領域の文字情報を前記画像のメタデータとして抽出する第一の抽出ステップと、
前記文書情報に基づいて、前記文書に含まれる、前記画像を含むグループに関連するテキスト領域の文字情報を、前記画像を含むグループのメタデータとして抽出する第二の抽出ステップと、
前記文書情報に基づいて、前記第一の抽出ステップでメタデータとして抽出された文字情報に関連する、前記文書に含まれるテキスト領域に含まれる文字情報と、前記第二の抽出ステップでメタデータとして抽出された文字情報に関連する、前記文書に含まれるテキスト領域に含まれる文字情報と、を前記画像のメタデータとして抽出する第三の抽出ステップと、
前記第三の抽出ステップで抽出されたメタデータに、前記第一の抽出ステップでメタデータとして抽出された文字情報に関連する文字情報であるか、前記前記第二の抽出ステップでメタデータとして抽出された文字情報に関連する文字情報であるかに応じて異なる付加情報を付加する付加ステップと、
を有する文書処理方法。
【請求項８】
前記付加ステップでは、前記第一の抽出ステップでメタデータとして抽出された文字情報に関連する文字情報にグループ内での差分であることを示す付加情報を付加し、前記前記第二の抽出ステップでメタデータとして抽出された文字情報に関連する文字情報にグループ内で共通であることを示す付加情報を付加する請求項７記載の文書処理方法。
【請求項９】
前記第一の抽出ステップで抽出されたメタデータと、前記第二の抽出ステップで抽出されたメタデータと、前記第三の抽出ステップで抽出されたメタデータと、前記付加ステップで付加された付加情報と、を前記画像と関係付けて記憶装置に登録するメタデータ登録ステップを更に有する請求項７又は８記載の文書処理方法。
【請求項１０】
前記第一の抽出ステップで抽出されたメタデータと、前記第二の抽出ステップで抽出されたメタデータと、前記第三の抽出ステップで抽出されたメタデータと、前記付加ステップで付加された付加情報と、を前記文書情報に記憶するメタデータ記憶ステップを更に有する請求項７又は８記載の文書処理方法。
【請求項１１】
検索クエリに基づいて、前記記憶装置に記憶されているメタデータを検索し、前記検索の結果、取得された画像に関係するメタデータに前記付加情報が付加されていた場合、前記付加情報の種類に応じて、前記メタデータを区別可能に表示する検索ステップを更に有する請求項９記載の文書処理方法。
【請求項１２】
検索クエリに基づいて、前記文書情報に記憶されているメタデータを検索し、前記検索の結果、取得された画像に関係するメタデータに前記付加情報が付加されていた場合、前記付加情報の種類に応じて、前記メタデータを区別可能に表示する検索ステップを更に有する請求項１０記載の文書処理方法。
【請求項１３】
コンピュータを、
テキスト及び画像を含む文書の構造に係る文書情報に基づいて、前記文書に含まれる画像に関連するテキスト領域の文字情報を前記画像のメタデータとして抽出する第一の抽出手段と、
前記文書情報に基づいて、前記文書に含まれる、前記画像を含むグループに関連するテキスト領域の文字情報を、前記画像を含むグループのメタデータとして抽出する第二の抽出手段と、
前記文書情報に基づいて、前記第一の抽出手段でメタデータとして抽出された文字情報に関連する、前記文書に含まれるテキスト領域に含まれる文字情報と、前記第二の抽出手段でメタデータとして抽出された文字情報に関連する、前記文書に含まれるテキスト領域に含まれる文字情報と、を前記画像のメタデータとして抽出する第三の抽出手段と、
前記第三の抽出手段で抽出されたメタデータに、前記第一の抽出手段でメタデータとして抽出された文字情報に関連する文字情報であるか、前記前記第二の抽出手段でメタデータとして抽出された文字情報に関連する文字情報であるかに応じて異なる付加情報を付加する付加手段と、
して機能させるプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書処理装置、文書処理方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
近年、デジタルデータの処理・通信技術の発達により、動画、静止画、音声、図表、テキスト等のマルチメディア文書を利用するシステムが作成され、様々なマルチメディア文書の作成や記録が可能になってきた。また、同時に、マルチメディア文書を、単純に電子化された文書である以上に、高度に利用するシステムも提供されるようになってきた。基本的に、デジタルデータとして蓄積されたマルチメディア文書には、そのデータとしての検索容易性と、データとしての再利用性の高さと、に特徴がある。
【０００３】
このような特徴を生かすことで、作成したい電子文書に必要な情報や、再利用できる素材を容易に検索できるようになってきている。また、これらを再利用や加工を施すことで、新しい電子文書の作成を容易に行える機能が提供されるようになってきている。更に、紙に書かれた情報を電子情報に変換するスキャナ機器の利用や、スキャナ機器の利用で得られた文書画像を電子文書に解析・変換していく各種解析技術の進歩もある。これにより、元々紙媒体等で利用されてきた文書についても、電子文書として利用・保管するような体系も多くなってきている。そして、電子文書でありながら、その電子フォーマット等に工夫を施して、紙文書としての特徴を持つような電子文書も、よく利用されるようになってきている。これは、主に、容易に複製、加工できる特徴を電子文書そのものに持たせることが好ましくない場合等に、利用されている。
【０００４】
このように、文書は、紙媒体から電子媒体へと単純に推移するのではなく、それぞれの媒体の特性を利用すると共に、適切な特性を持つ媒体を選択して利用される状況になってきている。ただ、実際には、その電子化された文書は、何らかのデータフォーマットで記述されることになるために、そのデータフォーマットに対応したアプリケーションが必要となる。しかし、そのデータフォーマットの統一や整備等が進められると共に、そのデータフォーマットに対応するソフトウェアの蓄積がなされてきた。したがって、その問題による障壁は小さなものとなってきている。
【０００５】
特に、検索等に使用される、電子文書の特徴や内容を代表するような様々な情報をメタデータと呼び、このフォーマット等の統一が図られてきている。これにより、様々な電子文書のフォーマット等が異なった場合でも、同じように検索されるような環境が提供されるようになってきている。また、文書以外の動画、静止画、音声データ等についての同様である。また文書のマルチメディア化に伴い、電子文書内に動画、静止画、音声データ等が含まれるようになってきており、これらに対する検索機能も望まれるようになってきている。
【０００６】
しかし、検索を実現する技術は、動画、静止画、音声、図表、テキスト等のそれぞれについて、検索に使用する技術が異なるため、個別の検索技術や検索手法等が必要であった。例えば、テキストに対して検索を行う場合には、その検索対象となるテキストの一部となるような言語表現を利用者に入力させ、それに該当する文書内のテキスト部分を持つ文書や、その文書内の該当部分を提示するようなことが行われていた。同様に、静止画や図表についても、その静止画の特徴づけるための静止画像等を利用者に入力させ、それに該当する文書内の静止画像を持つ文書や、その文書内の該当部分を提示するようなことが行われていた。
【０００７】
また、文書内の特定の動画、静止画、音声、図表、テキストを検索する際に、それらを特徴付ける情報として、動画、静止画、音声、図表、テキスト等のそのものの情報以外の情報を利用する方式もある。即ち、同じ電子文書内にある他の部分ではあるが、動画、静止画、音声、図表、テキスト等を特徴付けるような情報を基に、動画、静止画、音声、図表、テキスト等を検索するための情報として利用する行為も行われていた。例えば、電子文書中の静止画や図表の情報を特徴付ける情報として、その静止画や図表に対する文書中のタイトルや、説明文等のテキストを利用するものがあった。
【０００８】
特に説明調の文書の場合に顕著だと思われるが、通常、電子文書中に出現する画像等は、文書自身が何かの情報を伝達するために作成されており、そのために画像が用いられている。したがって、その画像の内容そのものや、画像で伝達したい内容、画像の内容を理解してもらうための説明があるのが通常である。また、画像等を電子文書中で多数用いる場合には、その区別をするために、画像の付近に、画像の内容、画像番号等の識別情報等を付加することが一般に行われている。
【０００９】
そこで、そのような特性を利用して、電子文書や文書画像のレイアウト解析を行うことで、画像を説明するようなテキスト部分を抽出し、これを関連付け、説明のテキストを画像の検索用のメタデータとして利用することが行われていた。また、このようなテキスト内の画像番号やテキストの表現を利用して本文中の説明部分を推定し、これもメタデータにするようなことが行われていた。例えば、特許文献１や、特許文献２のように、電子文書内の本文となるテキストはもとより、それ以外の部分も含めてレイアウト解析を行い、画像等に対する説明文等を抽出するものがある。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平１１−２５１１３号公報
【特許文献２】特開平１１−２５００４１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、実際には、電子文書中の画像では、単純に画像１つに説明文が１つ付くような場合だけでなく、いくつかの画像が集まって説明文が付くような場合がある。このような場合に、上記のように単純にメタデータをつけていると、画像の集まりの方に重要な意味がある場合と、個々の画像だけが重要な場合ともどちらも同じように検索し、検索結果として表示されることとなる。また、同じ集まりの中の個々の画像がばらばらに検索結果の候補として表示されることが容易に生じてしまうために、検索した電子文書内の画像の内容が把握しにくいこととなってしまう。
【００１２】
本発明はこのような問題点に鑑みなされたもので、検索した電子文書内の画像の内容を容易に把握可能にすることを目的とする。
【課題を解決するための手段】
【００１３】
そこで、本発明の文書処理装置は、テキスト及び画像を含む文書の構造に係る文書情報に基づいて、前記文書に含まれる画像に関連するテキスト領域の文字情報を前記画像のメタデータとして抽出する第一の抽出手段と、前記文書情報に基づいて、前記文書に含まれる、前記画像を含むグループに関連するテキスト領域の文字情報を、前記画像を含むグループのメタデータとして抽出する第二の抽出手段と、前記文書情報に基づいて、前記第一の抽出手段でメタデータとして抽出された文字情報に関連する、前記文書に含まれるテキスト領域に含まれる文字情報と、前記第二の抽出手段でメタデータとして抽出された文字情報に関連する、前記文書に含まれるテキスト領域に含まれる文字情報と、を前記画像のメタデータとして抽出する第三の抽出手段と、前記第三の抽出手段で抽出されたメタデータに、前記第一の抽出手段でメタデータとして抽出された文字情報に関連する文字情報であるか、前記前記第二の抽出手段でメタデータとして抽出された文字情報に関連する文字情報であるかに応じて異なる付加情報を付加する付加手段と、を有する。
【００１４】
かかる構成とすることにより、例えば、画像のメタデータに、メタデータの属性等を表す異なる付加情報が付加されることになる。よって、電子文書内の画像検索において、例えば検索の結果として取得された画像に関連するメタデータに付加情報が付加されていた場合は、付加情報の種類に応じて、画像に関連するメタデータの表示（レイアウト等）を変えることができる。その結果、ユーザは、検索した電子文書内の画像の内容を容易に把握することができる。
【００１５】
また、本発明は、文書処理方法、プログラム及び記憶媒体としてもよい。
【発明の効果】
【００１６】
本発明によれば、検索した文書内の画像の内容を容易に把握可能にすることができる。
【図面の簡単な説明】
【００１７】
【図１】文書処理装置（コンピュータ）の一例である画像処理装置のハードウェア構成の一例を示す図である。
【図２】文書の一例を示す図である。
【図３】電子文書に対して解析処理を行い、電子文書内の画像のメタデータを抽出する処理の一例を示すフローチャートである。
【図４】Ｓ３０５までの処理で解析された電子文書から得られた情報を記した文書情報の一例を示す図である。
【図５】電子文書内の画像に対するメタデータの一例を示す図である。
【図６】電子文書内の画像のメタデータを抽出する処理の一例を示すフローチャートである。
【図７】画像処理装置に含まれる文書画像登録装置の機能構成等の一例を示すブロック図（その１）である。
【図８】画像処理装置に含まれる文書画像検索装置の機能構成等の一例を示すブロック図（その２）である。
【図９】検索クエリ画像入力時の画面の一例を示した図である。
【図１０】検索結果の画面の一例を示した図である。
【図１１】メタデータや付加情報を記憶した文書情報の一例を示す図である。
【図１２】電子文書内の画像を検索し、検索結果を表示する処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について図面に基づいて説明する。
【００１９】
＜実施形態１＞
本実施形態では、電子文書に対して、その電子文書内の画像領域について、メタデータを付与し、これを検索する際を例として説明を行うものとする。
図１は、文書処理装置（コンピュータ）の一例である画像処理装置のハードウェア構成の一例を示す図である。ＣＰＵ１０１は、本実施形態の画像処理装置における各種制御を実行する。ＣＰＵ１０１の作業内容は、後述するＲＯＭ１０２やＲＡＭ１０３上のプログラムによって指示される。また、ＣＰＵ１０１は、自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることもできる。
ＲＯＭ１０２は、ＣＰＵ１０１による制御の手順を記憶させた計算機プログラムやデータを格納する。
ＲＡＭ１０３は、ＣＰＵ１０１が処理するための制御プログラムを格納すると共に、ＣＰＵ１０１が各種制御を実行する際の様々なデータの作業領域を提供する。
【００２０】
キーボード１０４は、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、及び、カーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えており、ユーザによる各種入力操作環境を提供する。なお、キーボード１０４は、マウスのようなポインティングデバイスも含むこともできる。
バス１０５は各構成に接続されているアドレスバス、データバス等である。
外部記憶装置１０６は、様々なデータ等を記憶する記憶装置である。外部記憶装置１０６は、記録媒体と、記憶媒体を駆動し、情報を記録するドライブ等と、で構成される。ここでいう、記憶媒体とは、ハードディスクやフレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等のことである。これに保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１０３上に呼び出される。
表示器１０７は、ディスプレイ等で構成され、各種入力操作の状態をユーザに対して表示する。
【００２１】
ＮＣＵ１０８は、他のコンピュータ装置等と通信を行うための通信デバイスである。画像処理装置は、ＮＣＵ１０８により、ネットワーク（ＬＡＮ）等を介して、図にはないが遠隔地に存在する装置と通信し、本実施形態のプログラムやデータを共有することが可能になる。
スキャナ１０９は、画像を読み取るためのイメージスキャナであり、セットされた紙原稿を１枚ずつ光学的に読み取り、イメージ信号をデジタル信号列に変換する。読み取られた画像データは、外部記憶装置１０６やＲＡＭ１０３等に格納される。
ＲＯＭ１０２やＲＡＭ１０３等の記憶媒体には、本実施形態のデータ管理を実現する計算機プログラムやデータ等が格納されている。これらの記録媒体に格納されたプログラムコードを、ＣＰＵ１０１が読み出し実行することによって画像処理装置の機能及び後述するフローチャートに係る処理が実現される。なお、記憶媒体の種類は問わないものとする。
【００２２】
キーボード１０４は、ユーザによる各種入力操作環境を提供するキーボードやマウスであるが、ユーザからの各種入力操作環境を提供するものであれば、タッチパネル、スタイラスペン等、何でもよい。
ＮＣＵ１０８の通信手段としては、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、Ｅｔｈｅｒｎｅｔ（登録商標）等の有線通信や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、ＩＥＥＥ８０２．１１ｂ等の無線通信等何でもよい。
また、電子文書は、スキャナ１０９ではなく、ＮＣＵ１０８によって接続されたネットワークスキャナ、コピー装置、デジタルスチルカメラ、フィルムスキャナ等の入力機器を介して入力されてもよい。また、電子文書は、デジタル画像データを保持する外部記憶装置１０６から通信デバイスを介して入力されてもよい。更に、読み取られた画像データも、外部記憶装置１０６やＲＡＭ１０３等ではなく、通信デバイスによって接続されたコンピュータ等の機器やコピー機等のオフィス機器等の外部記憶装置等に格納してもよい。
以上述べてきた構成は、あくまでも、本実施形態における一例であり、本発明においては、特にこれに限定されるものでない。
【００２３】
図２は、文書の一例を示す図である。２０１は、例として使用する文書の１ページである。以下、この文書の内容の中で、本実施形態の説明で着目する部分について、説明する。
２０２は、このページのタイトルである。２０３と２０７とが本文に相当する部分でこの文書の主たる内容となっている。それぞれ、その本文で説明されている図の領域が存在している。この図の領域には、それぞれ２０４と２０８との説明タイトルがあり、その中に、個々の図領域がある。この個々の図の領域として、２０５や２０９等が、それに該当し、それぞれ、２０６や２１０の個々の画像の説明である言葉の表現があり、これをキャプションと呼ぶことにする。２０５や２０９以外にも、食べ物に関連する個々の図があるが、これらについては、２０５、２０９等と同様であるので、説明は割愛する。
【００２４】
図３は、電子文書に対して解析処理を行い、文書内画像のメタデータを抽出する処理の一例を示すフローチャートである。
Ｓ３０１は処理の開始点である。Ｓ３０２において、ＣＰＵ１０１は、電子文書の読み込みを行う。本実施形態では、電子文書は、スキャナ１０９が紙文書から取り込んだものを読み込む（取得する）ことを想定している。しかしながら、電子文書は、外部記憶装置１０６に記憶されているものや、ＮＣＵ１０８を経由して得られるものでもよい。また、電子文書としては、所謂イメージデータだけでなく、ページ記述言語等で記述された電子文書でもよい。また、Ｓ３０２の処理は電子文書内のページ毎に行われ、この処理の後、電子文書として、結果をまとめられることとなる。
【００２５】
Ｓ３０３において、ＣＰＵ１０１は、その電子文書内の画像領域の分割を行い、テキストや画像の領域の情報を得る。ＣＰＵ１０１は、電子文書内のテキストや画像の領域の個々の領域に対して、その特性を基に、個々の領域に対して、テキスト領域や画像の領域等の判定を行い、その情報を付加する。電子文書がイメージデータの場合、ＣＰＵ１０１は、そのイメージ内の領域にある色や線分等の特性を基に判定することになる。ページ記述言語の場合、ＣＰＵ１０１は、描画指示内容の内容や特徴等を基に判定することとなる。更に、各領域について、ＣＰＵ１０１は、テキストや画像といった判定結果だけでなく、位置、大きさ、色等の特性情報を付加してもよい。また、ＣＰＵ１０１は、連続した色変化が生じやすい写真調の画像と、単色の挿絵のようなクリップアートのような画像と、を区別するような判定を行ってもよい。ここで、様々な情報を抽出しておき、以後の、レイアウト解析やメタデータ抽出等で利用することで、解析や抽出の精度の向上等を図ることができる。
Ｓ３０４において、ＣＰＵ１０１は、Ｓ３０３で得られたテキスト領域に対して、文字認識処理を行う。これにより、テキスト領域には文字列の情報が内容として付加されることとなる。ＣＰＵ１０１は、電子文書のテキスト部分がイメージデータの場合、Ｓ３０４の処理を行う。電子文書のテキスト部分がページ記述言語で文字の描画を指示している場合等では、ＣＰＵ１０１は、その文字の情報を基に行うことになる。これにより、テキスト領域については、その内容のテキスト情報を通常の文字の列として、その内容を利用することができる。
【００２６】
Ｓ３０５において、ＣＰＵ１０１は、レイアウト解析を行う。このレイアウト解析処理において、ＣＰＵ１０１は、Ｓ３０３で得られた各領域に対して、電子文書内のページ単位に位置関係や各領域の特性を基に、各領域間の電子文書内の役割を推定する。つまり、ＣＰＵ１０１は、ページ内の本文部分の段組みのカラム等の推定や、ページ内の画像を中心としたグループ化の推定、ページ内の画像とキャプションの関係の推定を行う。また、ＣＰＵ１０１は、見開きを構成するページ等では、複数のページであっても、同一のページであるかのように見なして、前述の関係の推定を行う。この場合、ＣＰＵ１０１は、前後のページも参照しながら、処理を行う。
Ｓ３０６において、ＣＰＵ１０１は、メタデータの抽出を行う。ＣＰＵ１０１は、Ｓ３０５のレイアウト解析結果と、Ｓ３０４の文字認識処理結果と、を利用して、電子文書内の画像に対する検索用のメタデータの抽出を行う。この処理の詳細については、後述する図６等を用いて説明する。
【００２７】
図４は、Ｓ３０５までの処理で解析された電子文書から得られた情報を記した文書情報の一例を示す図である。である。図４に示される文書情報は、は図２の電子文書から得られたものの抜粋になっている。ここでは、ＸＭＬで記述した例を用いていて、ページ記述言語で記述された文書データのようになっている。以下に、この詳細を記す。
４−０１は、電子情報の開始を示している。４−４８は、この文書情報の終了を示している。４−０３は、１つのページに関する情報の開始を示している。４−０４は、このページの縦、横の大きさの情報である。そして、４−４６は、そのページの情報の終了を示している。ページ内の情報は、テキストや画像等の個々の要素の単位であるブロックと、そのブロックの集まりであるグループと、によって構成されている。このグループやブロックはお互いが識別出るように識別情報を持っている。また、ページも同様に識別情報を持っている。４−０３や４−０６のｉｄで示される「Ｐ１１」、「Ｐ１１Ｇ１」等が、その識別情報である。
【００２８】
４−０６が１つのブロックの情報の開始部分であり、このグループがテキストのブロックによって構成されるカラムであることが示されている。４−０７、４−０８で、このグループのページ内の位置と大きさに関する情報が示されている。そして、このグループの情報の終了を示しているのが４−１７である。このグループ内には、複数のテキストのブロックがあるが、この中の１つが４−０９から４−１５までにかけて記されている。４−１５は、そのブロック情報の開始部分であり、このブロックがテキストであることが示されている。４−１５は、終了部分である。このブロックの情報として、４−１０にページ内の位置情報、４−１１に大きさの情報、４−１２から４−１４までにテキストの内容の情報が記されている。４−１３がテキストの内容で、ＣＰＵ１０１におけるＳ３０４の文字認識等で得られる情報である。
同様に、４−１９から４−４４までが１つのグループであり、こちらは画像のグループである。４−１９は、このグループの情報の開始部分である。４−４２は、終了部分である。４−２０、４−２１には、このグループのページ内の位置や大きさの情報が記されている。このグループの中には、複数のブロックがあるが、そのうちの３つのブロックの内容が示されている。その１つは、４−２２から４−２８までのテキストのブロックであり、４−２５で示されるように、このグループ内でのタイトルとしての役割をもっている。
【００２９】
次の１つは４−２９から４−３５までの写真のブロックであり、その画像情報が４−３３で示されるファイルに格納されている。最後の１つが、４−３６から４−４２までのテキストのブロックである。これは、４−３９で示されるように、「Ｐ１１Ｂ１０」の識別番号を持つブロックのキャプションであることがわかる。即ち、これは、前述の４−２９から４−３５までの写真のブロックに対するキャプションとして「Ａ店」というテキストがＣＰＵ１０１におけるＳ３０５の処理で推定されたことを示している。
このように、テキスト部分がカラムとしてグループ化され、それぞれテキスト等の領域が、位置やサイズをもっている。また、テキスト部分は、文字認識により、その内容が文字列情報として付加されている。また、同様に画像部分についてもグループ化が行われており、そのグループへのタイトル等の情報が付加されている。
なお、この例では、説明に使用しない部分である図４の４−０２、４−０５等の部分については、記述と説明とを省略する。
【００３０】
図５は、電子文書内の画像に対するメタデータの一例を示す図である。５０１は、電子文書内の画像である。５０２は、画像そのものにレイアウトの関係上説明文と推定されたテキストの内容で、キャプションである。このキャプション５０２及びこの中の言語表現や、図番号等を利用して、ＣＰＵ１０１が、その説明を行っていると思われるテキスト部分を抽出したものが５０３と５０４で、ここには前述のキャプションも記載されている。この抽出時には、アンカー表現と呼ばれる図番号等を用いる場合と、説明に使用した単語や文字列を用いる場合と、がある。ＣＰＵ１０１は、アンカー表現や、文字列を用いて、本文中から該当するテキストを選択する。この場合、ＣＰＵ１０１は、自然言語処理等の技術を用いると単語単位等の処理が実現しやすく、例えば、形態素解析等を使用する。また、特に、選択する際に、ＣＰＵ１０１は、説明に使用された単語や文字列を用いる場合には、これを利用して更に該当テキスト部分の要約を行うようにしてもよい。
そして、ＣＰＵ１０１は、５０３と５０４とに、そのメタデータの画像のレイアウト上の関係から、共通するもの、又は差分となるものを示す付加情報を付けている。即ち、キャプション「Ａ店」の図に対して、共通メタデータとして、キャプションから「横浜  家ラーメン」、アンカー表現を用いて本文中から得られた「最近、人気の横浜の家ラーメンンの特徴は・・・」という表現が得られている。同様に、キャプション「Ａ店」の図に対して、差分メタデータとしてキャプションから「Ａ店」、アンカー表現を用いて本文中から得られた「Ａ店は、卵を使ったラーメンが絶品・・・」という表現が得られている。これにより、検索結果表示等の際に、利用されて本発明の効果をもたらすのである。なお、このメタデータ及びメタデータの付加情報の抽出方式の詳細については、後述する。
【００３１】
図６は、電子文書内の画像のメタデータを抽出する処理の一例を示すフローチャートである。図３のＳ３０６において、ＣＰＵ１０１が、図４の文書情報を基に、図５のメタデータを抽出する部分の説明である。以下に、その詳細を記す。まず、Ｓ６０１は、この一連の処理の開始点である。
Ｓ６０２において、ＣＰＵ１０１は、画像に関連するテキスト領域の情報（文字情報）を取り出して、これをメタデータとする（第一の抽出）。即ち、ＣＰＵ１０１は、図４の文書情報のうち、テキストのブロックでキャプションになっているものを見つける。そして、ＣＰＵ１０１は、そのキャプションのテキストのブロックの内容を、そのキャプションとして指し示す識別番号をもつ画像のブロックのメタデータとする。例えば、図４の４−３６から４−４２まででテキストのブロックを用いて説明する。この場合、４−３９で示されるように、「Ｐ１１Ｂ１０」の識別番号を持つブロックのキャプションである。よって、４−２９から４−３５までの写真のブロックに対するキャプションとして「Ａ店」というテキストがメタデータとしてＣＰＵ１０１によって抽出される。
【００３２】
Ｓ６０３において、ＣＰＵ１０１は、画像を含むグループに対して、その関連するテキスト領域を取り出して、メタデータとする（第二の抽出）。即ち、ＣＰＵ１０１は、図４の文書情報のうち、テキストのブロックで、画像を含むグループを代表するものを見つけて、これをその画像を含むグループのメタデータとする。例えば、図４の４−１９から４−４４までが画像を含む１つのグループであるが、この中のテキストのブロックについて考える。このとき、このグループの中の４−２２から４−２８までのテキストのブロックが、このグループ内でのタイトルとしての役割をもっている。そのため、このグループを代表するテキストのブロックである。したがって、４−２２から４−２８までのテキストのブロックから、「横浜  家ラーメン」が、４−１９から４−４４までの画像を含むグループのメタデータとしてＣＰＵ１０１によって抽出される。
Ｓ６０４において、ＣＰＵ１０１は、Ｓ６０２とＳ６０３とで得られたメタデータについて、このメタデータのテキストと関連のあるテキストを、本文のカラム内のテキストブロック内から探して、該当するテキストをメタデータとする（第三の抽出）。このときに、ＣＰＵ１０１は、必ず、もとのメタデータの付与対象に付与するようにする。即ち、ＣＰＵ１０１は、Ｓ６０２で得られた「Ａ店」というメタデータを基に、本文のカラム内のテキストである４−０９から４−１５までのテキストのブロック等の内容に対して検索を行う。すると、「Ａ店は、卵を使ったラーメンが絶品。・・・。」というテキスト部分が見つかるので、ＣＰＵ１０１は、これを４−２９から４−３５までの写真のブロックのメタデータとして追加する。
【００３３】
同様に、画像のグループのメタデータとして得られた「横浜  家ラーメン」についても、ＣＰＵ１０１は、文書情報より「最近、人気の横浜の家ラーメンの特徴は・・・。」というテキストを見つけることができる。よって、ＣＰＵ１０１は、これを、４−１９から４−４４までの画像グループのメタデータとして追加する。このように、本文中にある画像に対する説明を行っているテキストの部分を取り出すことで、画像のメタデータとして、より詳細に説明を行っている文章等をメタデータに追加することができる。通常、図の部分のキャプションには、その記載スペースの関係上、簡潔な表現のテキストしか使用されない場合が多く、図が多数ある場合等には、その図番号等しか記載されない場合もある。このような場合には、単純に、図のキャプションだけをメタデータとすると、図に対して検索を行う際に有効なメタデータが得られなくなるため、このような方法で、より十分のメタデータを得られるようにするのである。
このように、既に得られたメタデータに該当する部分を探す方法としては、いろいろな方法がある。一番簡単な方法は、そのまま同一の文字列を含むテキストを探す方法である。前述したように、キャプションが図番号等の場合、ＣＰＵ１０１は、このような方法で、メタデータを追加することができる。キャプションが簡単な表現の場合、ＣＰＵ１０１は、そのキャプションに対して形態素解析等の単語分解を行い、その中の名詞や動詞等の重要と思われる単語を含む文や、それが多数出現する文等を、本文中のテキストのブロックから探すのがよい。特に、ＣＰＵ１０１は、このような場合に、重要な単語を決定するために、重要となる単語を予め学習するような固有表現抽出や、単語の出現頻度等を基にした重要語抽出等の手法を用いる方法もある。このように図の説明として重要な単語を多数含むテキスト内の文、更には、同じような単語の出現状況の文を絞り込むことで、図の説明として適切なメタデータが得られることになる。
【００３４】
例えば、ＣＰＵ１０１は、複数の文が得られた場合に、これに対して、文書要約の技術を適用して、より少ない表現の文章にしてから、メタデータとして得るようにするという方式がある。とはいえ、基になったキャプションと同程度まで要約してしまうと、キャプションと変わらなくなってしまうし、要約する際に、キャプションで使用されている重要な単語が含まれなくなるようでは、正しい要約になっていない可能性が高い。そこで、前述したように、ＣＰＵ１０１は、キャプション内の重要な単語に関する情報を、文書要約に与えて、その部分に対する説明表現が残るように、できれば、それに対する説明が中心になるような文書要約を行う方法もある。このようにすることで、本文中からも適切なメタデータを抽出することができる。
【００３５】
Ｓ６０５において、ＣＰＵ１０１は、Ｓ６０４までに得られた各メタデータについて、キャプションか本文からのメタデータか等の種別に関係なく、画像のグループと画像毎に、それらの包含関係に基づき、付加情報を付ける（付加）。ここでいう付加情報とは、図５の５０３と５０４とのように、メタデータが共通なものであるか、差分に関するものであるかという判別を行うための情報である。これは、図のグループがあった場合に、図のグループに対して付加されたメタデータは、その図のグループ内の図を代表する内容になっており、その図のグループの図に共通の内容になっている。したがって、その図のグループのメタデータには、その中の図のメタデータであると設定し、かつ、そのグループ内で共通のメタデータであるという付加情報を設定するのである。これに対して、その図のグループ内の各図に固有のメタデータは、その図のグループ内の図の違いや識別のための内容になっていることが多いため、これについては、そのグループ内の差分を示すという付加情報を設定するのである。これにより、各メタデータは、共通メタデータと差分メタデータとに分けられることになる。ＣＰＵ１０１は、このようにして、付加情報を設定する。このようにして、図５の５０３と５０４とのように区別されたメタデータが作成される。
Ｓ６０６において、ＣＰＵ１０１は、画像や、画像のグループについて、それらのメタデータと付加情報とを抽出する。ここで抽出されたメタデータは、画像の検索等に使用されることとなる。
そして、Ｓ６０７は、この一連の処理の終了点である。ＣＰＵ１０１は、処理がここに至ると、図６に示す処理を終了する。
【００３６】
図７は、画像処理装置に含まれる文書画像登録装置の機能構成等の一例を示すブロック図（その１）である。図７に示すように、文書画像登録装置７００は、文書入力部７０２、メタデータ抽出部７０３、メタデータ登録部７０４を含む。なお、これらの機能構成は、上述したように、ＣＰＵ１０１が、プログラムに基づき処理を実行することによって実現される。
電子文書を登録する際に行う各部の動作について説明する。電子文書７０１は、例えば、ＮＣＵ１０８によって接続されたネットワークスキャナ、デジタルスチルカメラ、デジタル画像データを保持したサーバ装置等に保持されていてもよいし、スキャナ１０９等が読み込んだものでもよい。文書入力部７０２は、例えば、ＮＣＵ１０８等を介して電子文書を入力したり、又はスキャナ１０９等から電子文書を入力したりする。文書入力部７０２は、入力した電子文書（例えば、図２のような電子文書）を一時的にＲＡＭ１０３や外部記憶装置１０６等に保持する。
【００３７】
メタデータ抽出部７０３は、上述した図３に示したような処理を実行し、電子文書からメタデータや付加情報を抽出する。
メタデータ登録部７０４は、電子文書中のメタデータを持つ図やそのグループと、メタデータ抽出部７０３で抽出されたメタデータと、を関連付けて文書画像データベース７０５に登録する。登録される電子文書内の図等は、通常、多数ある。したがって、メタデータ登録部７０４は、電子文書内の画像や図、図のグループに対して、固有の識別情報であるＩＤ等を割り当てて管理すると同時に、そのＩＤを利用して、抽出したメタデータを図や図のグループに関係付ける。文書画像データベース７０５は、例えば外部記憶装置１０６等に格納されているが、ＮＣＵ１０８によって接続されたサーバやコピー機等の外部記憶装置等に格納されていてもよい。
【００３８】
メタデータ登録部７０４は、検索時の処理時間を短くするために、登録処理の際に、予め検索対象となるメタデータから絞り込み用の情報を抽出して、これを文書画像データベース７０５等に登録しておくようにしてもよい。
更に、高速な検索を実現するために、メタデータ登録部７０４は、登録処理の際に、メタデータから一次絞込みのためのインデックスを作成しておくようにしてもよい。これは、検索時に、登録したメタデータと検索クエリとの比較の計算を行うが、電子文書や電子文書内の画像が多数ある場合に、その計算負担が大きいために、全ての検索対象のメタデータと比較することを、なるべく避けるためのものである。
【００３９】
図８は、画像処理装置に含まれる文書画像検索装置の機能構成等の一例を示すブロック図（その２）である。図８に示すように、文書画像検索装置８００は、クエリ入力部８０２、クエリ解析部８０３、メタデータ検索部８０４を含む。なお、これらの機能構成は、上述したように、ＣＰＵ１０１が、プログラムに基づき処理を実行することによって実現される。
検索クエリ８０１は、検索指示の内容であり、ここでは一般的なキーワード検索等のように言葉で入力されるものとする。クエリ入力部８０２は、検索クエリ８０１を入力する。クエリ解析部８０３は、クエリ入力部８０２で入力された検索クエリ８０１の解析を行う。メタデータ検索部８０４は、クエリ解析部８０３での解析の結果に基づいて、文書画像データベース８０５を検索し、検索結果８０６を取得する。また、メタデータ検索部８０４は、取得された画像等に関係するメタデータに付加情報が付加されていた場合、付加情報の種類に応じて、画像（画像のグループ）に関係するメタデータを区別可能に検索結果として表示する。
【００４０】
図９は、検索クエリ画像入力時の画面の一例を示した図である。これは、例えば、クエリ入力部８０２によって表示器１０７等に表示される。また、ユーザがキーボード１０４等を介して入力した文字列として受け取るのもクエリ入力部８０２が行う。本実施形態では、クエリ入力部８０２が専用のアプリケーションのウィンドウシステムを利用した場合の画面の例を示している。しかしながら、クエリ入力部８０２がＷｅｂブラウザ等に図９に示すような入力画面を表示させ、入力画面を介して入力されたクエリを受け取るようにしてもよい。
図９において、９０１は、タイトルバーと呼ばれるもので、このウィンドウのタイトル表示と全体の操作、例えば大きさの変更等を受け付ける部分である。９０２は、検索クエリを入力する部分である。
９０３は、検索を指示するためのボタンである。このボタンが押下されると、文書画像検索装置８００において検索処理が行われ、検索結果が図１０に示すような画面で表示器１０７等に表示される。
９０４は終了を指示するためのボタンで、このボタンが押下されると、文書画像検索装置８００において検索処理が終了することとなる。
【００４１】
文書画像データベース８０５は、図７の文書画像データベース７０５と同じものであり、検索対象となる文書内の画像のメタデータと、前記画像の画像ＩＤ等と、を対応付けて記録してある。メタデータ検索部８０４は、検索クエリと、メタデータと、の比較を行うことで、検索を行う。しかしながら、実際には、メタデータ検索部８０４は、文書画像データベース８０５内で検索用に記憶されているインデックスを使用して検索を行うのが一般的である。また、検索クエリ８０１から入力に適さないものを除いたり、検索にある程度の曖昧性を持たせるために、辞書を使って類義語を追加したりするのが、クエリ解析部８０３の処理である。
上述したような検索処理を文書画像検索装置８００が行うことで、検索結果候補画像の画像ＩＤと、該当するメタデータ情報と、が候補画像の数だけ作られ、一時的にＲＡＭ１０３や外部記憶装置１０６等に保持されることになる。そして、検索結果として、利用者に表示されることになる。この検索結果の画面表示については、図１０と共に後述する。
【００４２】
なお、実際に、検索を行う際には、文書画像データベース８０５上の全ての電子文書内の画像に対して行うのは、非常に処理負担が大きいので、予め、インデキシングや絞り込み等の手法が用いられることが多い。例えば、文書画像検索装置８００は、メタデータ中に出現する文字や単語の単位で、集まりを構成しておくことで、それを含まない画像を候補から外す等の、絞り込み等を行うようにしてもよい。また、文書画像検索装置８００は、特定の文字や単語を含むメタデータを持つ画像ＩＤが取り出しやすいように、文字や単語をキーとするハッシュ関数やＢ木等を準備しておくインデキシング等を行うようにしてもよい。このような情報は、一時的に図１のＲＡＭ１０３や外部記憶装置１０６等に保持され、利用される。
【００４３】
図１０は、検索結果の画面の一例を示した図である。図１０の画面は、図９に示される検索クエリで検索した結果を表示したものである。本実施形態では、メタデータ検索部８０４が専用のアプリケーションのウィンドウシステムを利用した場合の画面の例を示している。しかしながら、メタデータ検索部８０４がＷｅｂブラウザ等に図１０に示すような検索結果の画面を表示させてもよい。
図１０において、１００２は、タイトルバーと呼ばれるもので、このウィンドウ（検索画面１００１）のタイトル表示と全体の操作、例えば大きさの変更等を受け付ける部分である。１００４は、検索の元となった検索クエリを表示する部分である。
【００４４】
１００３は、検索結果等を表示するための領域であり、図９の検索クエリで検索した結果として得られた画像ＩＤに対応した画像の情報と、前記画像の説明情報と、を一覧表示する部分である。メタデータ検索部８０４は、画像の情報は、予め作成されたサムネイルを表示する。ここで、サムネイルは、画像登録時に例えばメタデータ登録部７０４等によって作成され、画像ＩＤに対応付けられたもので文書画像データベース８０５内等に登録されているものとする。検索結果数が多く、一つの画面で表示できない場合には、メタデータ検索部８０４は、表示サイズに応じた件数ずつ組にして表示を行う。
１００５は、検索結果表示部分であり、検索された画像に対して、１００６が共通して得られたメタデータであり、その中で下線部分が検索クエリと合致した部分である。１００７は、区別されたメタデータ部分であり同様に、下線部分が検索クエリと合致した部分である。
図１０の例では、Ａ店の画像のメタデータが一番検索クエリと合致したものを含むため、これが一番合致した画像となっており、メタデータ検索部８０４によって、画像の該当部分が黒枠で示されている。１００８は、１００７に含まれる他の画像の区別されたメタデータ部分である。１００９は、また別の画像の検索結果の候補である。
【００４５】
図１１は、電子文書内の画像を検索し、検索結果を表示する処理の一例を示すフローチャートである。なお、以下では、説明の簡略化のため、ＣＰＵ１０１が処理を行うものとして説明を行う。まず、Ｓ１２０１は、この一連の処理の開始点である。
Ｓ１２０２において、ＣＰＵ１０１は、検索クエリを入力する。
Ｓ１２０３において、ＣＰＵ１０１は、検索クエリを解析し、入力に適さない文字等を除いたり、検索にある程度の曖昧性を持たせるために、辞書を使って検索クエリに類義語を追加したりする。
【００４６】
Ｓ１２０４において、ＣＰＵ１０１は、Ｓ１２０３の処理の結果である検索クエリに基づいて、文書画像データベース８０５のメタデータを検索し、該当する画像及び前記画像に関係するメタデータ等を取得する。
Ｓ１２０５において、ＣＰＵ１０１は、Ｓ１２０４で取得した画像に関係するメタデータに付加情報が付加されていたか否かを判定する。ＣＰＵ１０１は、メタデータに付加情報が付加されていた場合、付加情報の種類に応じて、図１０に示されるように、画像（又は画像のグループ）に関係するメタデータを区別可能に、検索結果として表示する。例えば、Ｓ１２０４において、図５に示されるようなメタデータが取得されたとする。すると、ＣＰＵ１０１は、前記メタデータに付加されている付加情報の種類（共通メタデータや差分メタデータ）に応じて、図１０の１００６や、１００７に示されるように、メタデータの表示（又はレイアウト）を区別可能に表示する。
そして、Ｓ１２０６は、この一連の処理の終了点である。
【００４７】
本実施形態により、電子文書内に構造があり、画像等のグループ等について説明文が付加されるような場合でも、わかりやすい検索表示結果が表示されることで、各検索された画像の状況等がわかるようになった。これにより、本当に欲しい画像を検索できたかどうかがわかるようになった。また、再利用に適した画像の検索等も行いやすくなった。
ここで、本実施形態では、画像処理装置が文書画像登録装置７００及び文書画像検索装置８００を含むものとして説明した。しかしながら、文書画像登録装置７００及び文書画像検索装置８００がそれぞれ１台ずつの画像処理装置に対応するように構成してもよい。このような構成とした場合、文書画像データベース７０５（文書画像データベース８０５）は、各画像処理装置からアクセス可能な例えば外部記憶装置等に記憶される構成となる。
【００４８】
＜実施形態２＞
実施形態１では、ＣＰＵ１０１は、抽出したメタデータを、文書画像データベースに登録するよう説明を行ったが、メタデータを、文書情報と一緒に記録するようにしてもよい。本実施形態のＣＰＵ１０１は、実施形態１における図４の文書情報を、ページ記述言語等の文書情報として記録する際に、抽出したメタデータも記録しておくのである（メタデータ記憶）。この際、ＣＰＵ１０１は、メタデータの付加情報も文書情報に記録する（メタデータ記憶）。メタデータの付加対象となる図や複数の図を含むグループの構造や関係が、文書情報内に表現されている。そのため、このような構成にすることにより、メタデータの付加情報の解釈や記録方式等が容易になる等の特徴もある。実際に、図４のような文書情報に対して、メタデータとメタデータの付加情報とを記録したものが、図１１である。
【００４９】
図１２は、メタデータや付加情報を記憶した文書情報の一例を示す図である。
図１２中、１１−２２、１１−３３、１１−３４が、メタデータとメタデータの付加情報の例となっている。図１２中のこれ以外は、図４と同じで、１１−０１から１１−２１までは４−０１から４−２１までと同じであり、１１−２３から１１−３２までは４−２２から４−３１までと同じであり、１１−３５以降は４−３２以降と同じである。１１−２２は単純なメタデータであり、付加情報はない。１１−３３と１１−３４とには、それぞれ図５に示した共通メタデータと差分メタデータとが記述されている。
つまり、属性として共通（ｃｏｍｍｏｎ）と差分（ｄｉｆｆｅｒｅｎｔｉａｌ）の付加情報が付けられたメタデータとなっている。何に対して共通・差分なのかは、そのメタデータが記述されている位置、即ち、どのようなブロックやグループにあるかによって、示される。
このようにして、抽出されたメタデータを文書情報と一緒に記録することで、この文書情報を、他の機器等で使用する際でも、このメタデータを利用して検索等を行えるようになる。
本実施形態により、電子文書内に構造があり、画像等のグループ等について説明文が付加されるような場合でも、わかりやすい検索表示結果が表示されることで、各検索された画像の状況等がわかるようになった。これにより、本当に欲しい画像を検索できたかどうかがわかるようになった。また、再利用に適した画像の検索等も行いやすくなった。また、文書情報を他の機器で使用する際も、メタデータを利用して検索等を行えるようになった。
【００５０】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５１】
以上、上述した各実施形態では、電子文書内の画像の検索を行えるようするために、文書内の画像の説明文を利用する方式において、その画像間の関係やレイアウト上の構造等を更に利用するようにした。即ち、どのような状況の画像であったか、又は、他の画像や画像のグループとの関係の情報を付加情報としてメタデータに付加するようにした。これにより、文書内の画像を検索し、付加情報を利用して検索結果を表示することで、検索結果の画像がどのようなものかをわかりやすく表示することが可能となった。
【００５２】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した各実施形態の構成は、複数の機器（例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【符号の説明】
【００５３】
１０１  ＣＰＵ、１０２  ＲＯＭ、１０３  ＲＡＭ、１０４  キーボード、１０５  バス、１０６  外部記憶装置、１０７  表示器、１０８  ＮＣＵ、１０９  スキャナ
【図１】
2011034504.tif 000003
【図２】
2011034504.tif 000004
【図３】
2011034504.tif 000005
【図４】
2011034504.tif 000006
【図５】
2011034504.tif 000007
【図６】
2011034504.tif 000008
【図７】
2011034504.tif 000009
【図８】
2011034504.tif 000010
【図９】
2011034504.tif 000011
【図１０】
2011034504.tif 000012
【図１１】
2011034504.tif 000013
【図１２】
2011034504.tif 000014