(57)【要約】【課題】従来の文書検索方法は、中身を吟味するためには一度文書を読む必要があり、内容の一覧性を実現することはこれまでできなかった。そのため、概要画像を予め作成しておく方法もあるが、その作成に時間やコストが非常にかかる、また、検索したすべての文書の概要画像をモニターの一画面に表示することが難しい等の理由で問題を完全には解決できていない。【解決手段】文書を一覧性の高い画像に置き換える。すなわち、文書内の写真、図、テーブルなどの画像をその文書のキー画像とする。そのキー画像の一つあるいは複数を用いた検索論理式を入力し、検索論理式を満足した類似画像が含まれる文書内の画像が表示画面内に3次元的にすべて表示される。そして、検索者が表示されたキー画像を選択すると、そのキー画像を含んだ文書内容が表示されるようにする。【選択図】図１
2006146628.tif 000002
【特許請求の範囲】
【請求項１】
画像を含んだ文書の検索方法において、
文書のデータと当該文書中にある画像のデータとを対応付ける第１のステップと、
所定画像をキー画像として指定する第２のステップと、
上記指定したキー画像と演算子を用いて検索式を設定する第３のステップと、
上記検索式による検索により抽出された複数の画像を表示する第４のステップと、
上記表示された画像から任意の画像を指定する第５のステップと、
上記指定された画像に対応付けられた文書を表示する第６のステップ、
を有することを特徴とする文書の検索方法。
【請求項２】
上記ステップ１において、
電子文書ではそのコード内容の解析により対応付けを自動的にするステップ、画像文書では、画像処理により対応付け自動的にするステップ、
を有することを特徴とする請求項１に記載の文書の検索方法。
【請求項３】
上記第２のステップにおいて、
検索したい文書に含まれるべき画像をキー画像として指定する際、光電素子を利用したスキャナーやカメラで該画像を入力して指定するステップ、
を有することを特徴とする請求項１に記載の文書の検索方法。
【請求項４】
上記第３のステップにおいて、
上記キー画像を示すアイコンと上記演算子を示すアイコンを表示するステップと、上記表示されたアイコンから上記検索式を構成する要素を選択するステップ、
を有することを特徴とする請求項１に記載の文書の検索方法。
【請求項５】
上記第４のステップにおいて、
上記検索式による検索の対象は、キー画像に類似する画像を対象に含む、  ことを特徴とする請求項１に記載の文書の検索方法。
【請求項６】
上記第４のステップにおいて、
抽出された複数の画像をクラスタリングして、それぞれのクラスターを表示するステップ、
を有することを特徴とする請求項１記載の文書の検索方法。
【請求項７】
上記第４のステップにおいて、
上記抽出された画像から複数の特徴量を検出し、それらの距離を用いてクラスタリングするステップ、
を有することを特徴とする請求項１に記載の文書の検索方法。
【請求項８】
上記複数の特徴量のいくつかの軸からなる空間に上記抽出された画像を表示する、
を有することを特徴とする請求項７に記載の文書の検索方法。
【請求項９】
画像を含んだ文書の検索方法において、
文書のデータと当該文書中にある画像のデータとを対応付けるステップ、
所定画像をキー画像として指定するステップ、
上記画像のデータから上記キー画像に類似した複数の画像を抽出するステップ、
上記抽出された複数の画像を表示するステップ、
上記表示された画像から任意の画像を指定するステップ、
上記指定された画像に対応付けられた文書を表示するステップ、
を有することを特徴とする文書の検索方法。
【請求項１０】
上記キー画像として複数の画像を指定し、
指定された複数のキー画像それぞれについて、上記画像のデータから該キー画像に類似した画像群を抽出し、
それぞれのキー画像により抽出された画像群の集合の、論理和または論理積を、上記抽出された複数の画像の少なくとも一部として表示する
ことを特徴とする請求項９記載の文書の検索方法。
【請求項１１】
上記キー画像として複数の画像を指定し、
上記複数のキー画像を示すアイコン、および、論理演算子を示すアイコンを表示し、
上記表示されたアイコンを組み合わせて、検索式を設定し、
当該検索式に基づいて、上記複数のキー画像により抽出された複数の画像のうち少なくとも１つを上記抽出された複数の画像として表示する
ことを特徴とする請求項９記載の文書の検索方法。
【請求項１２】
上記キー画像として複数の画像を指定し、
上記複数のキー画像を示すアイコン、論理積を示すアイコン、および論理和を示すアイコンを少なくとも表示し、
上記表示されたアイコンを組み合わせて、検索式を設定し、
当該検索式に基づいて、上記複数のキー画像により抽出された複数の画像群相互の集合演算を行い、
当該集合演算の結果を上記抽出された複数の画像として表示する
ことを特徴とする請求項９記載の文書の検索方法。
【請求項１３】
上記抽出された複数の画像を、３次元空間上に、各画像の有する特徴量に応じて表示することを特徴とする請求項９記載の文書の検索方法。
【請求項１４】
画像を含んだ文書の検索装置において、
文書のデータと当該文書中にある画像のデータとの対応関係を記憶する記憶装置、
所定画像をキー画像として指定するキー画像指定装置、
上記画像のデータから上記キー画像に類似した複数の画像を抽出する処理装置、
上記抽出された複数の画像を表示する画像表示装置、
上記表示された画像から任意の画像を指定する画像指定装置、
上記指定された画像に対応付けられた文書を表示する文書表示装置、
を有することを特徴とする文書検索装置。
【請求項１５】
上記キー画像指定装置は、キー画像を読み込むためのスキャナー、あるいは、モニタ上に表示された画像あるいはそのアイコンを選択するポインタであることを特徴とする請求項１４記載の文書検索装置。
【請求項１６】
入力装置、表示装置、処理装置、および、記憶装置を備えた、文書の検索装置において、
上記記憶装置は、文書のデータと当該文書中にある画像のデータとの対応関係を記憶する記憶装置であり、
上記処理装置は、上記入力装置から所定画像をキー画像として指定させ、上記記憶装置から上記キー画像に類似した複数の画像を抽出し、上記表示装置に上記抽出された複数の画像を表示し、上記入力装置で上記表示された画像から任意の画像を指定させ、上記表示装置に上記指定された画像に対応付けられた文書を表示する、ように制御を行う
ことを特徴とする文書検索装置。
【請求項１７】
ネットワークに接続するインターフェースを有し、ネットワークに接続される他の記憶装置上に存在する文書にアクセスして、当該文書の存在する場所を示すアドレスと当該文書内に存在する画像のデータを取得し、これらを対応付けて上記記憶装置に記憶する
ことを特徴とする請求項１６記載の文書検索装置
【請求項１８】
上記処理装置は、上記キー画像として複数の画像を指定させ、上記複数のキー画像を示すアイコン、論理積を示すアイコン、および論理和を示すアイコンを上記表示装置に少なくとも表示し、上記表示されたアイコンを組み合わせて検索式を設定し、当該検索式に基づいて、上記複数のキー画像により抽出された複数の画像群相互の集合を抽出する、ように制御を行う
ことを特徴とする請求項１６記載の文書検索装置。
【請求項１９】
入力装置、表示装置、処理装置、および、記憶装置を備えたシステムにおいて、文書の検索を行わせるために上記処理装置上で動作するプログラムであって、該プログラムは、
上記記憶装置に文書のデータと当該文書中にある画像のデータとの対応関係を記憶させる機能、
上記入力装置から所定画像をキー画像として指定させる機能、
上記記憶装置から上記キー画像に類似した複数の画像を抽出する機能、
上記表示装置に上記抽出された複数の画像を表示する機能、
上記入力装置で上記表示された画像から任意の画像を指定させる機能、
上記表示装置に上記指定された画像に対応付けられた文書を表示する機能、
を有することを特徴とする文書検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書内の画像を用いて文書を検索する方法およびその装置に関する。特に、ここでの文書とは、WWW上に構築されたWeb文書も含み、それらの文書の効率的検索方法およぶその装置に関する。また、画像とは写真、図面、表図、テーブル、グラフ、記号など、文書中に現れる様々のものを含む。
【背景技術】
【０００２】
以前より、特定分野、たとえば、特許や医療分野などでは、過去の文書例の検索は、特許の新規性チェックや類似症例のチェックなどの観点から必要不可欠であり、盛んに、研究開発されてきた。一方、最近では、ネットワーク等のインフラが整いインターネットやイントラネット上から個人が必要な情報をえるための検索技術やソフトが開発されている。これまでの検索技術は、主にキーワードの存在を仮定したものが主流である。すなわち文書テキスト内の複数のキーワードや文書の画像のタイトル内のキーワードを予め抽出しておき、そのキーワードと文書とを対応付けて記憶しておく。そして、検索時には、その記憶された対応を用いて、与えられたキーワードにより類似した内容と思われる文書を抽出する（特開2000-067066「文書画像管理方法、文書画像検索方法、文書画像管理システムおよび記憶媒体」）。
【０００３】
以上説明した文書検索方法は、通常、複数キーワードの検出頻度等により類似度計算を行い、その値の順に文書名やWeb文書のＵＲＬを表示することが多い。その場合、文書のファイルを一つ一つ開いて内容を吟味してほしい文書かどうかをチェックする必要があり、その手間が非常に大きい。すなわち、文書検索では中身を吟味するためには一度文書を読む必要があり、内容の一覧性を実現することが容易でなかった。そこで、例えば、特開平5-216936「文書蓄積・検索方法」では、文書の概要を示す概要画像を記憶しておき、文字情報（キーワード）等での検索条件に合致した文書の概要画像を表示することでその手間をなくし、作業の効率化を実現する方法も考案されている。
一方、画像検索では、画像に予め人手でキーワードをつけておく方法、あるいは、画像より色や形の特徴抽出を行いその特徴で類似画像を検索する方法がある。
【０００４】
【特許文献１】特開平5-216936
【０００５】
【特許文献２】特開2000-067066
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以上、説明したように、従来の文書検索方法は、通常、複数キーワードの検出頻度等により類似度計算を行い、その値の順に検索した文書名やWeb文書のＵＲＬを表示することが多い。その場合、文書のファイルを一つ一つ開いて内容を吟味してほしい文書かどうかをチェックする必要があり、その手間が非常に大きい。すなわち、文書検索では中身を吟味するためには一度文書を読む必要があり、内容の一覧性を実現することはこれまでできなかった。そのため、特開平5-216936のような概要画像を予め作成しておく方法もあるが、その作成に時間やコストが非常にかかる、また、検索したすべての文書の概要画像をモニターの一画面に表示することが難しい等の理由で問題を完全には解決できていない。さらに、一般のキーワードでは、なかなか、必要とする文書が効率よく検索できるとは限らない。それは、一般には文書内のキーワードの頻度のみではその内容を正確には近似することがなかなか難しいため、内容の類似した文章のみを検索できるとは限らないためである。
【課題を解決するための手段】
【０００７】
このような課題を解決するために、本発明では、まず、文書を一覧性の高い画像に置き換える。すなわち、文書内の写真、図、テーブルなどの画像をその文書のキー画像とする。そのキー画像の一つあるいは複数を用いた検索論理式を入力し、検索論理式を満足した類似画像が含まれる文書内の画像が表示画面内に例えば３次元的にすべて表示される。そして、検索者が表示されたキー画像を選択すると、そのキー画像を含んだ文書内容が表示されるようにする。
【０００８】
より具体的な本発明の方法は、画像を含んだ文書の検索方法において、文書のデータと当該文書中にある画像のデータとを対応付ける第１のステップと、所定画像をキー画像として指定する第２のステップと、指定したキー画像と演算子を用いて検索式を設定する第３のステップと、検索式による検索により抽出された複数の画像を表示する第４のステップと、表示された画像から任意の画像を指定する第５のステップと、指定された画像に対応付けられた文書を表示する第６のステップ、を有することを特徴とする。
【０００９】
また、ステップ１において、電子文書ではそのコード内容の解析により対応付けを自動的にするステップ、画像文書では、画像処理により対応付け自動的にするステップ、を有することにしてもよい。すなわち、文書のデータと当該文書中にある画像のデータとを対応付ける際に、文書が電子（HTMLなどテキストコード等）データの場合とイメージデータ（スキャナで取り込んだ文書等）の場合がある。前者の場合、テキストコードを解析することで、画像データの存在とその格納場所が分かる。一方、イメージデータの場合には、画像処理によって、文字イメージと画像データを分離することができ、画像データの存在とその格納場所が分かる。
【００１０】
また、第２のステップにおいて、検索したい文書に含まれるべき画像をキー画像として指定する際、光電素子を利用したスキャナーやカメラで該画像を入力して指定すると、任意の画像をキーにすることができる。また、第３のステップにおいて、キー画像を示すアイコンと演算子を示すアイコンを表示するステップと、表示されたアイコンから検索式を構成する要素を選択するステップを採用すると、簡易に検索式が作成できる。
また、本発明の検索方法では、キー画像と同一の画像のみでなく、キー画像に類似する画像を対象に含むことができ、効果的な検索を可能とすることができる。
【００１１】
さらに、第４のステップにおいて、抽出された複数の画像をクラスタリングして、それぞれのクラスターを表示するステップ、を有すると抽出された複数の画像を視覚的に把握でき、所望の画像を選択することが容易となる。このとき、抽出された画像から複数の特徴量を検出し、それらの距離を用いてクラスタリングすることもできる。また、複数の特徴量のいくつかの軸からなる空間に抽出された画像を表示することも好ましい。
【００１２】
また、本発明の他の方法では、画像を含んだ文書の検索方法において、文書のデータと当該文書中にある画像のデータとを対応付けるステップ、所定画像をキー画像として指定するステップ、画像のデータから上記キー画像に類似した複数の画像を抽出するステップ、抽出された複数の画像を表示するステップ、表示された画像から任意の画像を指定するステップ、指定された画像に対応付けられた文書を表示するステップ、を有する。
【００１３】
上記キー画像としては複数の画像を指定することができる。キー画像それぞれについて、画像のデータからキー画像に類似した画像群を抽出すると、キー画像ごとに複数の画像からなる画像群（グループ）が抽出できる。これらのグループの、論理和または論理積を表示することもできる。
【００１４】
所望の画像を表示させるために、複数のキー画像を示すアイコン、および、論理演算子を示すアイコンを表示し、表示されたアイコンを組み合わせて、検索式を設定し、検索式に基づいて、画像を表示することもでき、操作性を向上させることができる。
画像アイコンとしては、画像そのものを用いることもできるし、画像を縮小したもの、あるいは、簡略化したシンボルを用いても良い。
【００１５】
論理演算子としては、論理積(AND)を示すアイコン、および論理和(OR)を示すアイコンをもちいることができる。場合により(NAND)(NOR)などの他の演算子を用いてもよい。表示されたアイコンを組み合わせて、検索式を設定し、検索式に基づいて、複数のキー画像により抽出された複数の画像群相互の集合演算を行い、集合演算の結果を抽出された複数の画像として表示する。表示方法としては、抽出された複数の画像を、３次元空間上に、各画像の有する特徴量に応じて表示することもできる。
【００１６】
本発明の装置は、画像を含んだ文書の検索装置において、文書のデータと文書中にある画像のデータとの対応関係を記憶する記憶装置、所定画像をキー画像として指定するキー画像指定装置、画像のデータから上記キー画像に類似した複数の画像を抽出する処理装置、抽出された複数の画像を表示する画像表示装置、表示された画像から任意の画像を指定する画像指定装置、指定された画像に対応付けられた文書を表示する文書表示装置、を有することを特徴とする。記憶装置としては、ハードディスクその他の装置が利用できる。キー画像指定装置は、キー画像を読み込むためのスキャナー、あるいは、モニタ上に表示された画像あるいはそのアイコンを選択するポインティングデバイスが使用できる。
【００１７】
記憶装置は文書のデータと文書中にある画像のデータとの対応関係を記憶していればよく、文書データそのものや、画像データそのものを記憶する必要は必ずしもない。好適な態様では、検索キーとなる画像データ（あるいはその加工データ）を格納し、文書データ自体については、その保存場所（アクセス先、例えばアドレス）のみする格納することで、記憶装置の容量を小さくすることができる。
【００１８】
また、他の態様では入力装置、表示装置、処理装置、および、記憶装置を備えた、文書の検索装置において、記憶装置は、文書のデータと文書中にある画像のデータとの対応関係を記憶する記憶装置であり、処理装置は、入力装置から所定画像をキー画像として指定させ、記憶装置からキー画像に類似した複数の画像を抽出し、表示装置に抽出された複数の画像を表示し、入力装置で表示された画像から任意の画像を指定させ、表示装置に指定された画像に対応付けられた文書を表示する、ように制御を行うことを特徴とする。入力装置としては、マウス等のポインティングデバイス、スキャナ、キーボードなどが使用可能である。表示装置は１または複数のディスプレイやプリンタ等の出力装置が使用できる。処理装置としては、専用のハードウェアで構成することができるし、汎用のプロセッサ上で動作するソフトウェアで実現することもできる。
【００１９】
さらに、本発明では、ネットワークに接続するインターフェースを有し、ネットワークに接続される他の記憶装置上に存在する文書にアクセスして、当該文書の存在する場所を示すアドレスと当該文書内に存在する画像のデータを取得し、これらを対応付けて上記記憶装置に記憶する。この態様により、インターネットなどの検索エンジンとして利用することが可能となる。この際、記憶する画像は、画像そのままでもよいが、データ圧縮した画像または簡易化した画像でであれば、記憶装置の容量を有効に利用できる。
【発明の効果】
【００２０】
一般に、特許文書の例のように、文書の内容はその内部に含まれる写真、図、テーブルに顕著に表現されているものが多い。すなわち、文書で強調したい事項やわかってほしい部分は、視覚的にうったえるため画像となっている場合がほとんどであるし、最近の文献には画像がないものは殆どない。このような理由で、文書の内容を表現する最適な方法は、その文書に含まれている画像の集合で表現することである。そのため、本発明では、文書を複数の内部画像により表現し、それを用いることで検索率を高めている。また、それらの画像を利用して検索した文書内の画像群を表示画面に３次元的に表示することで一覧性を実現できている。また、そのキー画像の一つあるいは複数を用いた検索論理式を入力することで、様々な検索条件による検索が可能となっている。また、この検索論理式にテキスト（キーワード）を含め既存技術とを組み合わせれば、画像とキーワードによる検索が実現でき、さらに高精度な検索も可能となる。
【発明を実施するための最良の形態】
【００２１】
本発明では、ＰＣなどの計算機上で動く検索ソフトを具体的な形態としている。すなわち、ＰＣなどの計算機、ディスプレ装置、マウス等の指示装置、画像の入力装置、及び、画像や文書を記憶していく記憶装置からなる。検索したい文書としては、ネットワークに繋がっているファイル内の文書、例えば、インターネット上のホームページなどの文書を想定している。
【実施例１】
【００２２】
本発明の実施形態について図面を参照しながら詳細に説明する。
図１は本実施形態におけるインターネット上の文書検索の構成の一例を示す図である。本例の文書検索装置１は、本方法にかかわる文書検索を実現するための、処理装置１１、記憶装置１２、ディスプレ装置とマウス等の指示装置１３、スキャナ等の入力装置１４からなる。この例では、文書検索装置1 は、Ｗｅｂ書類群３にインターネットあるいはイントラネット２でつながっている。
【００２３】
図２は、図１の処理装置での処理内容を具体的に示した図である。
図３は、文書検索装置１の処理におけるデータの関係やデータの対応を示した図である。本検索方法では次の手順で文書検索を行う。以下、図２及び図３を参照しつつ説明する。  （１）検索ロボットによりネットワーク上の文書を探索し、その文書内の画像（文書内の写真、図、表などの画像）を抽出し、文書と画像との対応付けを行う（図２の１１１：ステップ１）。そして、その結果は、図１の記憶装置１２に、文書情報アドレス群（Ｗｅｂ書類の場合にはＵＲＬなど）１２１、その書類に含まれている画像群１２２、そしてこれらの情報、すなわち、文書情報アドレスと種類内画像を対応付けているテーブル１２３を記憶する。
【００２４】
図３のステップ１にテーブル１２３が表現している内容を模式的に示した。文書情報アドレスファイルには、ロボットが探索した文書情報アドレス群が格納されている。また、画像ファイルにはここの文書内の画像が格納されている。テーブル１２３は、この文書情報アドレスと画像を対応付けるもので、例えば、文書１は画像１０と画像１１があり、文書２は画像２０、文書３は画像３０と画像３１を持っていることを示している。以上のロボットによる探索、記憶、対応付けは、検索の空き時間、あるいは、特定の時刻に予め行っておくことができる。
【００２５】
（２）文書を検索する時には、探したい文書の内容を表現する画像（キー画像）を提示する（図２の１１２：ステップ２）。提示方法としては、例えば、スキャナ等の入力装置１４を利用してキー画像を入力する方法と、既存の電子文書からキー画像を選ぶ方法がある。
図３のステップ２に、４つのキー画像を採取した場合を示す。
【００２６】
（３）次に、キー画像を用いた検索論理式を入力する（図２の１１３：ステップ３）。例えば、キー画像１に似た画像とキー画像２に似た画像の両者がともにある文書か、または、それらがなくても、キー画像４に似た画像がある文書を検索する場合、検索論理式は、図３のステップ３の例のようになる。
【００２７】
（４）この検索論理式に従い、記憶装置１２内の画像をまず検索する。図３の例の場合には、キー画像１に似た画像を含んだ文書の文書情報アドレスとキー画像２に似た画像を含んだ文書の文書情報アドレスをすべて抽出し、両者で存在するアドレスを検出する。また、キー画像４に似た画像を含んだ文書の文書情報アドレスも抽出し、検索アドレスに加える。
【００２８】
（５）次に、検索した文書情報アドレスに対応した各文書に関し、キー画像１に類似した画像、キー画像２に類似した画像、および、キー画像４に類似した画像を記憶装置１２から抽出し、ディスプレー装置１３で、順次変化する画像特徴を軸とした３次元空間内にクラスタ表示する（図２の１１４：ステップ４）。類似した画像を抽出する技術に関しては、例えば特開2000-029885に記載の技術がある。また、この表示方法は、特開平10-193838 「画像検索方法および装置」、A. Hiroike, Y. Musha, A. Sugimoto and Y. Mori, “Visualization of information spaces to retrieve and browse image data,” Proc. Visual99, Springer-Verlag, 155-162, 1999等で公開されている公知方法で実現できる。このような構成で検索表示することで一覧性を実現できる。なお、図３のステップ４がこの表示内容を示したものである。
【００２９】
（６）そして、検索者が、表示された画像を観察し、希望の画像をマウス等の指示装置１３で選択すると、記憶装置１２に記憶された対応テーブルを参照してその画像が含まれた該当文書をディスプレー装置に表示し内容が確認できる（図２の１１５）。図３のステップ４の画面の右上文書がその例である。
以上が、本検索方法の概略手順である。以降、図４から図９を使って各ステップの処理内容の例を詳細に説明する。
【００３０】
図４は、図２の１１１の検索文書と画像の対応付けを具体化する一例で、１１１１により既存技術の検索ロボットによってWebサイトを探索していき、１１１２において、図１の３に示したようなホームページ文書のＵＲＬを取得していくと同時にその文書内にある画像を取得していく。そして１１１３により、探索したＵＲＬ、対応画像、対応関係を、図１の記憶装置１２の文書情報アドレス、文書内画像、文書情報アドレス画像対応テーブルの記憶エリアに格納する。そして、新しい探索文書がなくなるまでネットワークを順次探索していく。このような処理は、検索の空き時間、あるいは、特定の時刻に予め行っておくことができる。
【００３１】
図５は、図２の１１２の検索すべきキー画像例の提示を具体化する一例で、１１２１において、スキャナでキー画像を入力するか、既存の電子画像を用いるかを先ず選択する。前者の場合には、図１のスキャナー等入力装置１４にてキー画像を取得する。一方、後者の場合には、ネットワークあるいは計算機の記憶媒体からキー画像を選び出す。そして選ばれた複数のキー画像は、１１２４にて、図１のディスプレ装置１３に各キー画像が分かるアイコンとして表示される。
【００３２】
図６は、図２の１１３のキー画像を用いた検索式の入力を具体化する一例で、３つのステップからなる。１１３１では、先ず、検索論理記号のツールボックスウィンドウを表示する。
【００３３】
図７は、検索キー画像と検索論理記号を選択するためのウィンドウの例および検索論理式の例を示した図である。
ツールボックスウィンドウには、図７の右上に示すような論理記号アイコンが表示されている。１１３２で、検索論理式を作成する作業ウィンドウを表示する。また、先に説明した１１２４にて、検索画像のアイコンは、図７の左上ように表示されている。１１３３にて、計算機の既存のＧＵＩを使って、検索式を構成していく。例えば、図７の中央の図の例１に示したように、論理記号、括弧とキー画像を各ウィンドウから選んで、順番に図７の下部に示す作業ウィンドウにドロップしていくようにする。例１の場合は、“（キー画像１ ＡＮＤ キー画像２） ＯＲ キー画像４”という検索論理式を作成した例を示している。例２は、検索論理式のなかにさらにキーワードを表現したテキストコードもいれられるようにしたものである。
【００３４】
図８は、図２の１１４、類似度を用いたキー画像に似た画像の検索を、検索論理式に基づいて実行する方法を具体化する一例である。先ず、検索論理式に沿った実行を行うために、電卓などの四則演算などに利用されている逆ポーランド記法への変換を行う。すなわち、図８の検索論理式を処理の順番（データ列、記法の要素（論理記号）の対という順番）に書き下した逆ポーランド記法に１１４１に変換する。これらの情報は、処理装置１１内の一時記憶部に一次元的にプシュされた形式で記憶されている。１１４２では、まず、第１の対（本例の場合にはキー画像１とキー画像２とＡＮＤ論理）を取り出す（ポップする）。１１４３にて、要素がない場合（ポップできない場合）には検索論理式の実行を終了する。要素がある場合には、第１の対（本例の場合にはキー画像１とキー画像２とＡＮＤ論理）に対応した処理を１１４４で実行する。この例の場合には、先に説明したように、キー画像１に似た画像を含んだ文書の文書情報アドレスとキー画像２に似た画像を含んだ文書の文書情報アドレスをすべて抽出し、両者に存在する共通アドレスを検出して、そのデータ群Ａを記憶する（プシュする）。
【００３５】
次に、第２の対（本例の場合には、今プッシュされた文書情報アドレス群Ａとキー画像４とＯＲ論理）を取り出す（ポップする）。この回での１１４４は、キー画像４に似た画像を含んだ文書の文書情報アドレスすべてを文書情報アドレス群Ａに追加する（ＯＲ論理）し、その追加された文書情報アドレス群Ｂを記憶(プッシュ)する。本例の場合これですべての対を終了したので、１１４５にて、文書情報アドレス群Ｂを取り出し、その文書内でキー画像１、キー画像２、キー画像４に似た画像をすべて表示する。なお、画像間の類似度を計算する方法の例としては、画像の各種特徴量を求めてその距離で判定する方法を用いる。そして、表示方法としては、先に述べたように、特開平10-193838「画像検索方法および装置」にあるように、特徴量の軸を順次選びながら３Ｄ表示をする。そうすることで、検索画像の一覧性を実現できる。
【００３６】
図９は、図２の１１５の特定画像の指示とそれに対応した文書の表示を具体化する一例である。１１５１では、１１４５にてディスプレ装置１３に３Ｄ表示された画像群の中から、検索者が興味のある特定の画像を選ぶ。１１５２にて、その画像に対応する文書を文書情報アドレス画像対応テーブルを参照して特定する。そして、１１５３にて、対応文書をディスプレ装置１３に表示する。このようにすることで、完全に、文書検索装置を具体化できる。
【００３７】
なお，以上説明した例では、文書を代表する内部の画像で表現して検索する例を示したが、従来のキーワードによる検索と併用してもよい。その場合、図７の例２に示したように、検索論理式のなかにキーワードを表現したテキストコードもいれられるようにすればよい。勿論、この場合には、予め、検索ロボットによって、文書を検索しながら文書内のキーワードの有無をチェックし、記憶装置１１の中に、文書情報アドレス、キーワード群、及びそれらの対応テーブルを記憶しておく必要がある。
また、本発明は前記の実施対象に限定されずに広く適用することが可能である。たとえば，本発明は，インターネット上のＷＥＢ文書に限定されることはなく、計算機内の文書ファイルの検索にも適用できる。
【産業上の利用可能性】
【００３８】
以上説明したように、本発明によれば、文書を複数の内部画像により文書を表現し、それを用いることで検索率を高め、また、それらの画像を利用して検索した文書内の画像群を表示画面に3次元的に表示することで一覧性を実現できる。また、そのキー画像の一つあるいは複数を用いた検索論理式を入力することで、様々な検索条件による検索が可能となっている。したがって、インターネット上のＷＥＢ文書検索や計算機内の文書ファイル検索に適用が可能で、その効率化への貢献は多大である。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施形態における文書検索装置の構成の一例と検索したいネットワーク上の文書を示す概念図である。
【図２】図１の処理装置１１の具体的な処理例を示した流れ図である。
【図３】文書検索装置１の処理におけるデータの関係やデータの対応を示した概念図である。
【図４】図１の処理装置１１内の検索文書と画像の対応付けの処理ステップを示した流れ図である。
【図５】図１の処理装置１１内の検索すべき画像例の提示の処理ステップを示した流れ図である。
【図６】図１の処理装置１１内の提示画像を用いた検索論理式の入力の処理ステップを示した流れ図である。
【図７】図１の処理装置１１内の提示画像を用いた検索論理式の入力の処理ステップにおける、検索キー画像と検索論理記号を選択するためのウィンドウの例および検索論理式の例を示した概念図である。
【図８】図１の処理装置１１の類似度による画像の一覧表示の処理ステップを示した流れ図である。
【図９】図１の処理装置１１の特定画像の指示と対応文書の表示の処理ステップを示した流れ図である。
【符号の説明】
【００４０】
１：文書検索装置、２：インターネット、イントラネット、３：ＷＥＢ文書、１１：処理装置、１２：記憶装置、１３：ディスプレ装置とマウス等指示装置、１４：スキャナ等入力装置、１１１：検索文書と画像の対応付け、１１２：検索すべき画像例の提示、１１３：提示画像を用いた検索式の入力、１１４：類似度による画像の一覧表示、１１５：特定画像の指定と対応文書の表示。
【図１】
2006146628.tif 000003
【図２】
2006146628.tif 000004
【図３】
2006146628.tif 000005
【図４】
2006146628.tif 000006
【図５】
2006146628.tif 000007
【図６】
2006146628.tif 000008
【図７】
2006146628.tif 000009
【図８】
2006146628.tif 000010
【図９】
2006146628.tif 000011