(57)【特許請求の範囲】
【請求項１】
予め格納されている複数の検索対象画像情報のうち入力された画像に類似する類似画像を抽出する画像検索装置であって、
前記入力された画像の情報を入力画像情報として取得する入力画像情報取得部と、
前記取得された入力画像情報に複数の異なる画像処理を加えることにより複数の異なる処理画像情報を生成する画像処理部と、
前記複数の異なる処理画像情報に基づいて前記検索対象情報から前記類似画像を抽出する画像情報抽出部と、
前記抽出された類似画像を表示させるための抽出結果表示情報を生成する抽出結果表示情報生成部とを含み、
前記抽出結果表示情報生成部は、前記抽出された類似画像と、当該類似画像を抽出する際に用いた前記処理画像情報に対応する前記入力画像情報に加えた画像処理を示す情報とを関連付けて表示するように前記抽出結果表示情報を生成することを特徴とする、
画像検索装置。
【請求項２】
前記複数の異なる画像処理の内容を示す情報を含む抽出条件情報を、前記生成された複数の異なる処理画像情報に基づいて複数生成する抽出条件情報生成部を備え、
前記画像情報抽出部は、前記複数生成された抽出条件情報の夫々に基づいて前記検索対象情報から前記類似画像を抽出すること
を特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記画像処理部は、前記取得された前記入力画像情報が表示する形態を回転して表示することにより前記複数の異なる処理画像情報を生成することを特徴とする、請求項１または２に記載の画像検索装置。
【請求項４】
前記抽出結果表示情報生成部は、
前記入力画像情報が表示する入力画像と前記入力画像に類似する画像として抽出された類似画像とを関連付けて表示するように前記抽出結果表示情報を生成し、
前記処理画像情報が表示する処理画像と前記処理画像に類似する画像として抽出された類似画像とを関連付けて表示するように前記抽出結果表示情報を生成することを特徴とする、請求項１乃至３いずれか１項に記載の画像検索装置。
【請求項５】
前記抽出結果表示情報生成部は、前記入力画像情報若しくは処理画像情報が表示する入力画像若しくは処理画像と前記入力画像若しくは処理画像に類似する画像として抽出された類似画像との類似度の情報を、前記類似画像と関連付けて表示するように前記抽出結果表示情報を生成することを特徴とする、請求項２乃至４いずれか１項に記載の画像検索装置。
【請求項６】
前記画像情報抽出部は、
前記算出された特徴量と前記検索対象画像情報の特徴量とに基づいて前記入力画像情報及び前記複数の異なる処理画像情報と前記検索対象画像情報との類似度を算出し、
前記算出された類似度に基づいて前記類似画像を抽出することを特徴とする、請求項１乃至５いずれか１項に記載の画像検索装置。
【請求項７】
前記画像情報抽出部は、前記算出された類似度が所定の閾値よりも大きいものを前記類似画像として抽出することを特徴とする、請求項６に記載の画像検索装置。
【請求項８】
前記抽出結果表示情報生成部は、前記算出した類似度に基づいて前記類似画像の表示順を決定することを特徴とする、請求項６または７に記載の画像検索装置。
【請求項９】
入力画像情報取得部と、画像処理部と、画像情報抽出部と、抽出結果情報生成部とを含み、予め格納されている複数の検索対象画像情報のうち入力された画像に類似する類似画像を抽出する画像検索方法であって、
前記入力画像情報取得部が、前記入力された画像の情報を入力画像情報として取得し、
前記画像処理部が、前記取得された入力画像情報に複数の異なる画像処理を加えることにより複数の異なる処理画像情報を生成し、
前記画像情報抽出部が、前記複数の異なる処理画像情報に基づいて前記検索対象情報から前記類似画像を抽出し、
前記抽出結果情報生成部が、前記抽出された類似画像と、当該類似画像を抽出する際に用いた前記処理画像情報に対応する前記入力画像情報に加えた画像処理を示す情報とを関連付けて表示するように、前記抽出された類似画像を表示させるための抽出結果表示情報を生成することを特徴とする、画像検索方法。
【請求項１０】
請求項９に記載の情報検索方法を情報処理装置に実行させることを特徴とする情報処理プログラム。
【請求項１１】
請求項１０に記載の情報処理プログラムを情報処理装置が読み取り可能な形式で記録したことを特徴とする記録媒体。
【請求項１２】
予め記憶されている複数の検索対象画像情報のうち入力された画像に類似する類似画像を抽出し、検索要求を実行した情報処理装置に前記類似画像を表示させる画像検索システムであって、
前記入力された画像の情報を入力画像情報として取得する入力画像情報取得部と、
前記取得された入力画像情報に複数の異なる画像処理を加えることにより複数の異なる処理画像情報を生成する画像処理部と、
前記複数の異なる処理画像情報に基づいて前記検索対象情報から前記類似画像を抽出する画像情報抽出部と、
を備え、
前記抽出された類似画像と、当該類似画像を抽出する際に用いた前記処理画像情報に対応する前記入力画像情報に加えた画像処理を示す情報とを関連付けて前記情報処理装置に表示させることを特徴とする、
画像検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置、画像検索方法、情報処理プログラム、記録媒体及び画像検索システムに関し、特に画像検索における検索精度の向上に関する。
【背景技術】
【０００２】
電子データに対する検索技術、あるいは検索結果の表示技術は、検索対象の情報量の増大による検索結果数の増大のため、ますます重要な技術となっている。なぜなら、求める情報が大量の検索結果に埋もれてしまい、見つけることが困難になっているからである。このような検索技術として、画像を検索用画像として入力し、既に格納されている検索用画像から上記入力された画像に類似する画像を抽出する画像検索方法が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に示されるような画像検索技術は、例えば、公開特許公報の検索等に用いられる。例えば、公開特許公報等の文献に含まれる図面を検索する場合、図面を検索キーとして設定し、その図面に類似する図面を含む文献を抽出することが行なわれる。この他、複数の画像情報が格納されたデータベースにおいて、画像情報を検索キーとして画像情報を検索する場合であれば、同様に用いられ得る。
【０００４】
このような画像検索技術においては、入力された検索用画像の特徴量を抽出して条件情報とし、既に格納されている画像の特徴量と比較することによりその適合度を算出して類似画像を抽出する方法が一般的である。ここで、従来の画像検索技術においては、回転した画像や反転した画像についても類似の画像として抽出可能とするため、上記画像の回転や反転によって影響を受けない特徴量を用いることが一般的であった。
【特許文献１】特開２００２−２４５０７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したように、採用する特徴量を回転や反転等の影響を受けないものとする場合、例えば画像に表示されている物品や図形の形状を特徴量として用いることができない。このような特徴量の制約により、画像検索の精度の向上を妨げているという課題がある。
【０００６】
このような特徴量の制約を解決するため、検索用として入力された画像（以降、入力画像とする）に類似する画像を抽出することに加えて、上記入力された画像に所定の画像処理を加えた画像（以降、処理画像とする）に類似する画像を抽出することも提案されている。これにより、入力された画像に関連すると思われる画像をより広く抽出することが可能となる。しかしながら、このような検索方法を用いる場合、抽出された画像が入力画像に基づいて抽出されたものか、処理画像に基づいて抽出されたものかの判別ができず、ユーザによる検索結果の理解が困難となる。
【０００７】
本発明は、上記実情を考慮してなされたものであり、画像検索において、類似画像の判断に用いる特徴量の制限をなくし、検索精度を向上することを目的とする。また、画像検索において、ユーザによる検索結果の理解を容易化することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、請求項１に記載の発明は、予め格納されている複数の検索対象画像情報のうち入力された画像に類似する類似画像を抽出する画像検索装置であって、前記入力された画像の情報を入力画像情報として取得する入力画像情報取得部と、前記取得された入力画像情報に複数の異なる画像処理を加えることにより複数の異なる処理画像情報を生成する画像処理部と、前記複数の異なる処理画像情報に基づいて前記検索対象情報から前記類似画像を抽出する画像情報抽出部と、前記抽出された類似画像を表示させるための抽出結果表示情報を生成する抽出結果表示情報生成部とを含み、前記抽出結果表示情報生成部は、前記抽出された類似画像と、当該類似画像を抽出する際に用いた前記処理画像情報に対応する前記入力画像情報に加えた画像処理を示す情報とを関連付けて表示するように前記抽出結果表示情報を生成することを特徴とする。
また、請求項２に記載の発明は、請求項１に記載の画像検索装置において、前記複数の異なる画像処理の内容を示す情報を含む抽出条件情報を、前記生成された複数の異なる処理画像情報に基づいて複数生成する抽出条件情報生成部を備え、前記画像情報抽出部は、前記複数生成された抽出条件情報の夫々に基づいて前記検索対象情報から前記類似画像を抽出することを特徴とする。
【０００９】
また、請求項３に記載の発明は、請求項１または２に記載の画像検索装置において、前記画像処理部は、前記取得された前記入力画像情報が表示する形態を回転して表示することにより前記複数の異なる処理画像情報を生成することを特徴とする。
【００１０】
また、請求項４に記載の発明は、請求項１乃至３いずれか１項に記載の画像検索装置において、前記抽出結果表示情報生成部は、前記入力画像情報が表示する入力画像と前記入力画像に類似する画像として抽出された類似画像とを関連付けて表示するように前記抽出結果表示情報を生成し、前記処理画像情報が表示する処理画像と前記処理画像に類似する画像として抽出された類似画像とを関連付けて表示するように前記抽出結果表示情報を生成することを特徴とする。
【００１２】
また、請求項５に記載の発明は、請求項２乃至４いずれか１項に記載の画像検索装置において、前記抽出結果表示情報生成部は、前記入力画像情報若しくは処理画像情報が表示する入力画像若しくは処理画像と前記入力画像若しくは処理画像に類似する画像として抽出された類似画像との類似度の情報を、前記類似画像と関連付けて表示するように前記抽出結果表示情報を生成することを特徴とする。
【００１３】
また、請求項６に記載の発明は、請求項１乃至５いずれか１項に記載の画像検索装置において、前記画像情報抽出部は、前記算出された特徴量と前記検索対象画像情報の特徴量とに基づいて前記入力画像情報及び前記複数の異なる処理画像情報と前記検索対象画像情報との類似度を算出し、前記算出された類似度に基づいて前記類似画像を抽出することを特徴とする。
【００１４】
また、請求項７に記載の発明は、請求項６に記載の画像検索装置において、前記画像情報抽出部は、前記算出された類似度が所定の閾値よりも大きいものを前記類似画像として抽出することを特徴とする。
【００１５】
また、請求項８に記載の発明は、請求項６または７に記載の画像検索装置において、前記抽出結果表示情報生成部は、前記算出した類似度に基づいて前記類似画像の表示順を決定することを特徴とする。
【００１７】
また、請求項９に記載の発明は、入力画像情報取得部と、画像処理部と、画像情報抽出部と、抽出結果情報生成部とを含み、予め格納されている複数の検索対象画像情報のうち入力された画像に類似する類似画像を抽出する画像検索方法であって、前記入力画像情報取得部が、前記入力された画像の情報を入力画像情報として取得し、前記画像処理部が、前記取得された入力画像情報に複数の異なる画像処理を加えることにより複数の異なる処理画像情報を生成し、前記画像情報抽出部が、前記複数の異なる処理画像情報に基づいて前記検索対象情報から前記類似画像を抽出し、前記抽出結果情報生成部が、前記抽出された類似画像と、当該類似画像を抽出する際に用いた前記処理画像情報に対応する前記入力画像情報に加えた画像処理を示す情報とを関連付けて表示するように、前記抽出された類似画像を表示させるための抽出結果表示情報を生成することを特徴とする。
【００１９】
また、請求項１０に記載の発明は、情報処理プログラムであって、請求項９に記載の情報検索方法を情報処理装置に実行させることを特徴とする。
【００２０】
また、請求項１１に記載の発明は、記録媒体であって、請求項１０に記載の情報処理プログラムを情報処理装置が読み取り可能な形式で記録したことを特徴とする。
また、請求項１２に記載の発明は、予め記憶されている複数の検索対象画像情報のうち入力された画像に類似する類似画像を抽出し、検索要求を実行した情報処理装置に前記類似画像を表示させる画像検索システムであって、前記入力された画像の情報を入力画像情報として取得する入力画像情報取得部と、前記取得された入力画像情報に複数の異なる画像処理を加えることにより複数の異なる処理画像情報を生成する画像処理部と、前記複数の異なる処理画像情報に基づいて前記検索対象情報から前記類似画像を抽出する画像情報抽出部と、を備え、前記抽出された類似画像と、当該類似画像を抽出する際に用いた前記処理画像情報に対応する前記入力画像情報に加えた画像処理を示す情報とを関連付けて前記情報処理装置に表示させることを特徴とする。
【発明の効果】
【００２１】
本発明の一態様によれば、画像検索において、類似画像の判断に用いる特徴量の制限をなくし、検索精度を向上することが可能となる。また、入力された画像検索において、ユーザによる検索結果の理解を容易化することが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
本実施形態においては、画像検索装置の例として、入力された画像に基づいて予め格納されている検索対象画像情報を検索し、入力された画像に類似する画像を抽出する装置を例として説明する。
【００２３】
図１は、本実施の形態に係る画像検索システムの運用形態の例を示す図である。図１に示すように、本実施形態に係る画像検索システムは、画像検索装置１、クライアント装置２及び画像情報ＤＢ２００を含む。クライアント装置２は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の一般的な情報処理装置によって構成される。画像検索装置１は、ネットワークを介してクライアント装置２と接続されており、クライアント装置２からの検索要求を受けて画像情報ＤＢ２００に格納されている画像情報を検索する。
【００２４】
画像情報ＤＢ２００は、検索対象の情報として複数の画像情報を記憶している。尚、図１に示すように、本実施形態においては、画像情報ＤＢ２００が画像検索装置１とは別に設けられている例を説明するが、画像情報ＤＢ２００を画像検索装置１内部に構成することも可能である。画像情報ＤＢ２００は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の不揮発性記憶媒体によって構成される。更に、画像情報ＤＢ２００、画像検索装置１及びクライアント装置２が１体の装置として構成されても良い。
【００２５】
次に、本実施形態に係る画像検索装置１のハードウェア構成について説明する。図２は、本実施形態に係る画像検索装置１のハードウェア構成を示すブロック図である。図２に示すように、本実施形態に係る画像検索装置１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の情報処理端末と同様の構成を有する。
【００２６】
即ち、本実施形態に係る画像検索装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０、ＨＤＤ４０及びＩ／Ｆ５０がバス８０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）６０及び操作部７０が接続されている。
【００２７】
ＣＰＵ１０は演算手段であり、画像検索装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。
【００２８】
Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、ユーザが画像検索装置１の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボードやマウス等、ユーザが画像検索装置１に情報を入力するためのユーザインタフェースである。
【００２９】
尚、図１において説明したように、本実施形態に係る画像検索装置１は、サーバとして運用される。従って、ＬＣＤ６０及び操作部７０等のユーザインタフェースは省略可能である。この他、画像検索装置１は、情報処理機能を有する端末であれば、どのような実現態様であっても良い。例えば、一般的なＰＣ、ＭＦＰ（ＭｕｌｔｉＦｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）等が考えられる。
【００３０】
このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０若しくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＣＰＵ１０の制御に従って動作することにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る画像検索装置１の機能を実現する機能ブロックが構成される。
【００３１】
次に、本実施形態に係る画像検索装置１の機能ブロックについて、図３を参照して説明する。図３は、本実施形態に係る画像検索装置１の機能ブロック及び画像検索装置１が検索する対象の画像情報を格納している画像情報ＤＢ２００を示すブロック図である。図３に示すように、本実施形態に係る画像検索装置１は、検索制御部１００、情報入力部１１０、ネットワークＩ／Ｆ１２０及び表示部１３０を有する。
【００３２】
情報入力部１１０は、ユーザが画像検索装置１を操作して検索制御部１００に情報を入力するための構成であり、図２に示すＩ／Ｆ５０及び操作部７０によって実現される。ネットワークＩ／Ｆ１２０は、画像検索装置１がネットワークを介して情報を取得し、若しくはネットワークを介して情報を送信するためのインタフェースであり、図２に示すＩ／Ｆ５０によって実現される。具体的には、例えばＥｔｈｅｒｎｅｔ（登録商標）接続のインタフェースや、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）接続のインタフェースによって実現される。
【００３３】
表示部１３０は、画像検索装置１の動作状態や、検索結果等が表示される構成であり、図２に示すＩ／Ｆ５０及びＬＣＤ６０によって実現される。検索制御部１００は、本実施形態に係る画像検索装置１の検索機能を担う構成であり、入力画像情報取得部１０１、画像処理部１０２、画像情報抽出部１０３及び抽出結果処理部１０４を有する。
【００３４】
入力画像情報取得部１０１は、ユーザによって情報入力部１１０を介して入力された画像情報若しくはネットワークＩ／Ｆ１２０を介してネットワーク経由で入力された画像情報を入力画像情報、即ち検索キーとなる検索用画像として取得する。入力画像情報取得部１０１は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。
【００３５】
画像処理部１０２は、入力画像情報取得部１０１が取得した入力画像情報に対して所定の画像処理を実行することにより、画像処理後の画像（以降、処理画像とする）を生成する。即ち、画像処理部１０２が画像処理手段を有する。そして、画像処理部１０２は、上記生成した処理画像及び入力画像に基づき、画像情報ＤＢ２００から類似画像を検索するためのキーとなる画像の特徴値を算出する。
【００３６】
画像処理部１０２は、上記算出した画像の特徴値を画像情報ＤＢ２００から類似画像を抽出する際の条件である抽出条件情報として、画像情報抽出部１０３に入力する。即ち、画像処理部１０２が抽出条件情報生成部として機能する。抽出条件情報生成部は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。画像処理部１０２が実行する処理については、後に詳述する。
【００３７】
画像情報抽出部１０３は、画像処理部部１０２によって生成された抽出条件情報に基づき、画像情報ＤＢ２００に格納されている画像情報を抽出する。即ち、画像情報抽出部１０３は、抽出条件情報によって定められている条件に適合する画像情報を画像情報ＤＢ２００から抽出する画像情報抽出部として機能する。情報抽出部は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。また、画像情報抽出部１０３は、画像情報ＤＢ２００から抽出した画像情報の一覧（以降、画像一覧情報とする）を生成する。
【００３８】
抽出結果処理部１０４は、画像情報抽出部１０３によって生成された画像一覧情報を表示部１３０に表示し、若しくはクライアント装置２の表示部に表示させるための表示情報を生成して出力する。即ち、抽出結果処理部１０４は、類似画像として抽出された画像を表示させるための表示情報を生成する抽出結果表示情報生成部として機能する。抽出結果表示情報生成部は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。尚、表示部１３０を用いる場合、上記表示情報は、類似画像として抽出された画像を表示するための情報として用いられる。
【００３９】
このような画像検索装置１において、本実施形態は、画像処理部１０２による抽出条件情報の生成及び抽出結果処理部１０４による表示情報の生成並びにその表示態様に特徴を有する。以下、本実施形態に係る画像検索装置１の動作について図を参照して説明する。図４は、本実施形態に係る画像検索システムにおける検索動作を示すシーケンス図である。
【００４０】
図４に示すように、画像情報ＤＢ２００に登録されている画像情報を検索する際、先ず、ユーザはクライアント装置２を操作して検索用画像入力画面を表示するための情報を画像検索装置１に要求する）（Ｓ４０１）。画像検索装置１は、クライアント装置２からの要求に応じて、検索用画像入力画面を表示するための情報を送信する（Ｓ４０２）。
【００４１】
クライアント装置２は、画像検索装置１から検索用画像入力画面を取得すると、検索用画像入力画面を表示する（Ｓ４０３）。ここで、検索用画像入力画面とは、検索用画像情報を入力するための画面である。以下、本実施形態の説明においては、ユーザがクライアント装置２を操作して画像検索装置１の機能を利用する場合を例として説明する。
【００４２】
クライアント装置２は、ユーザによる操作に従い、検索用画像入力画面を解して入力された入力画像の情報（以降、入力画像情報とする）を画像検索装置１に送信する（Ｓ４０４）。画像検索装置１に送信された入力画像情報は、ネットワークＩ／Ｆ１２０から画像検索装置１に入力され、検索制御部１００の入力画像情報取得部１０１が取得する（Ｓ４０５）。画像処理部１０２は、入力画像情報取得部１０１から入力画像情報を取得すると、入力画像情報に対して所定の画像処理を実行する（Ｓ４０６）。
【００４３】
Ｓ４０６において実行される画像処理について、図を参照して説明する。図５（ａ）は、本実施系形態における入力画像の例を示す図である。図５（ａ）に示すように、本実施系形態においては、一部が変形した円形の図形の内部に正三角形が表示された画像を入力画像として用いる。図５（ｂ）は、Ｓ４０６において実行される画像処理により生成される処理画像の例を示す図である。
【００４４】
図５（ｂ）に示すように、本実施形態において、画像処理部１０２は、“左右反転”、“上下反転”、“９０°回転”、“輪郭抽出”、“部分抽出”、“二値化”、“白黒反転”、“ロール”等の画像処理を実行する。尚、上記“左右反転”、“上下反転”及び“回転”といった処理を実行する場合、画像処理部１０２が回転画像情報生成部として機能する。回転画像情報生成部は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。
【００４５】
図５（ｂ）に示すような処理画像を生成すると、画像処理部１０２は、入力画像及び処理画像に基づいて抽出条件情報を生成する（Ｓ４０７）。Ｓ４０７の処理において、画像処理部１０２は、入力画像及び処理画像（以降、条件画像とする）の特徴量を算出して抽出条件情報を生成する。
【００４６】
上述した画像の特徴量とは、画像に含まれる図形の形状、図形を構成する線のベクトル、図形の色若しくは画像に含まれるテキスト情報等に基づいて算出される情報であり、公知の方法を用いることができる。尚、本実施形態においては、Ｓ４０７において用いることができる特徴量に制約がないことが効果の１つである。この効果については後述する。Ｓ４０７の処理の結果生成される情報の例を図６に示す。
【００４７】
図６に示すように、Ｓ４０７における処理において、画像処理部１０２は、図５（ａ）及び図５（ｂ）に示す条件画像の夫々について識別用のＩＤ（条件画像ＩＤ）を付与する。そして、画像処理部１０２は、上述した特徴量を算出し、条件画像ＩＤ及び条件画像の種類と関連付けて抽出条件情報を生成する。ここで、条件画像の種類とは、入力画像若しくは入力画像に対してどのような画像処理を実行して生成された処理画像であるかを示す情報である。画像処理部１０２は、抽出条件情報を生成すると、画像情報抽出部１０３に抽出条件情報を入力する。
【００４８】
画像情報抽出部１０３は、画像処理部１０２から抽出条件情報を取得すると、その抽出条件情報に基づき、文献情報ＤＢ２００に記憶されている文献に含まれる画像との類似度を算出する（Ｓ４０８）。Ｓ４０８において算出される類似度とは、抽出条件情報として用いられる条件画像の特徴量に対する類似度である。即ち、Ｓ４０８において、画像情報抽出部１０３は、Ｓ４０７において算出された特徴量と画像情報ＤＢ２００に格納されている画像の特徴量とを比較し、その類似度を算出する。この類似度の算出方法としては既存の画像検索技術を用いることができる。
【００４９】
図７は、画像情報ＤＢ２００に格納されている情報の例を示す図である。図７に示すように、画像情報ＤＢ２００は、夫々の画像の情報に加えて、各画像のタイトル及び各画像の特徴量の情報を、夫々の画像を一意に識別するＩＤ（以降、対象画像ＩＤとする）と関連付けて記憶している。Ｓ４０８において、画像情報抽出部１０３は、抽出条件情報として入力された特徴量と画像情報ＤＢ２００に格納されている各画像の特徴量とを比較する。そして、入力画像及び処理画像と画像情報ＤＢ２００に格納されている画像相互の類似度を求める。この結果生成される情報について、図８を参照して説明する。
【００５０】
図８は、Ｓ４０８の処理の結果生成される情報を示す図である。図８に示すように、Ｓ４０８の処理の結果生成される情報には、対象画像ＩＤ、条件画像ＩＤ及びその類似度の情報が含まれる。図８に示すように、本実施形態においては、画像情報ＤＢ２００に含まれる各画像情報に対して、全条件画像との類似度が算出される。
【００５１】
画像情報抽出部１０３は、図８に示す情報を生成すると、類似度が所定の閾値を超える画像を類似画像として抽出し（Ｓ４０９）、抽出結果情報を生成する。即ち、画像情報抽出部１０３が画像情報抽出部として機能する。画像情報抽出部は、図２に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。図９に、抽出結果情報に含まれる情報の例を示す。図９に示すように、抽出結果情報には、図８に示す情報から類似度の低い画像を除いた情報（以降、抽出結果情報とする）が含まれる。
【００５２】
尚、上記の閾値とは、算出された類似度に基づいて、検索対象である夫々の画像が類似画像であるか否かを判断するために設定される値である。即ち、画像情報ＤＢ２００に格納されている情報が類似画像に該当するか否かを判断するための情報である。換言すると、条件画像と特徴の一致しない画像を抽出結果から除くために設定される値である。この閾値は、Ｓ４０８における類似度の算出態様に応じて設定される。例えば、Ｓ４０８における特徴量の比較処理において、特徴が一致しない画像は類似度が“０％”として算出され、特徴が少しでも一致する画像は“０％”ではない類似度が算出されるような算出態様を用いる場合、上記の閾値は“０％”として設定される。
【００５３】
この他、Ｓ４０８における類似度の算出態様によっては、上記の閾値は“０％”以外の値に設定され得る。また、上記の閾値を、条件画像と特徴の一致しない画像を抽出結果から除くために設定する他、条件画像と特徴の一致度が高い画像を抽出するために設定しても良い。この場合、上記の閾値はより高い値に設定される。
【００５４】
画像情報抽出部１０３は、抽出結果情報を生成すると、その抽出結果情報を抽出結果処理部１０４に入力する。抽出結果処理部１０３は、抽出結果情報を取得すると、条件画像毎に、図面の表示順序を決定する。そして、抽出結果を表示するための表示情報を生成し、ネットワークＩ／Ｆ１２０を介してクライアント装置２に送信する（Ｓ４１０）。Ｓ４１０において生成される表示情報に含まれる情報について、図１０を参照して説明する。
【００５５】
Ｓ４１０において生成される表示情報には、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を構成するための情報に加え、図１０に示すような情報が含まれる。即ち、図９に示す抽出結果情報に加えて、夫々の対象画像が格納されている記憶領域を示すＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）が含まれる。また、Ｓ４１０において生成される表示情報には、画像処理部１０２が生成した処理画像の情報も含まれる。
【００５６】
クライアント装置２は、画像検索装置１から受信した表示情報に基づいて、表示部に抽出結果を表示し（Ｓ４１１）、処理を終了する。ここで、Ｓ４１１においてクライアント装置２に表示される画面について、図１１を参照して説明する。図１１は、クライアント装置２が画像検索装置１から受信した表示情報に基づいて表示する抽出結果表示画面５００を示す図である。図１１に示すように、本実施形態に係る抽出結果表示画面５００は、条件画像表示部５０１及び類似画像表示部５０２を有する。
【００５７】
条件画像表示部５０１は、ユーザによって入力された入力画像若しくは画像処理部１０２によって生成された処理画像を表示する表示部である。図１１に示すように、本実施形態においては、夫々の条件画像が横一列に表示されている。また、条件画像表示部５０１は、入力画像若しくは処理画像が表示されると共に、“入力画像”、“左右反転”、“上下反転”等のように、夫々の条件画像の種類が表示される。夫々の条件画像の種類とは、即ち、夫々の処理画像を生成するために入力画像に対して加えた処理の内容を示す。
【００５８】
類似画像表示部５０２は、条件画像表示部５０１に表示されている条件画像に対する類似画像を表示する表示部である。図１１に示すように、本実施形態に係る類似画像表示部５０２は、条件画像表示部５０１の下部に設けられている。類似画像表示部５０２においては、類似画像が行列上に表示されている。そして、類似画像表示部５０２においては、同一の条件画像の類似画像として抽出された画像が、その条件画像の下に列状に表示されている。例えば、図１１の例においては、類似画像Ａ、類似画像Ｆが入力画像に類似する画像として抽出された類似画像であることを示している。即ち、本実施形態に係る抽出結果処理部１０４は、入力画像若しくは処理画像とそれらに類似する画像として抽出された類似画像とを関連付けて表示するように表示情報を生成する。
【００５９】
また、図１１に示すように、類似画像表示部５０２においては、夫々の類似画像の上部に類似度が表示されている。即ち、夫々の類似画像の入力画像若しくは処理画像に対する類似度が夫々の類似画像と関連付けられて表示されている。本実施形態に係る抽出結果表示画面５００においては、夫々の条件画像に対する類似画像の表示順が、類似度が高い程上部、即ち、条件画像に近い位置に表示されている。即ち、抽出結果処理部１０４は、Ｓ４１０の処理において表示情報を生成する際、夫々の条件画像に対して、類似度の高い画像をより上部に表示するように、表示情報を生成する。
【００６０】
本実施形態に係る画像検索方法においては、図５（ａ）、図５（ｂ）において説明したように、入力画像のみならず入力画像に所定の処理を加えた処理画像からも特徴量を抽出する。回転や反転等によって影響を受ける特徴量を用いる場合、入力画像のみに基づいて類似画像を検索すると、回転や反転した画像が類似画像として抽出されない可能性がある。このような課題に対して、本実施形態においては、回転や反転した処理画像からも特徴量を抽出するため、上記課題が解決される。従って、回転や反転によって影響を受ける特徴量を用いることが可能であり、画像検索の精度をより向上することが可能となる。
【００６１】
ここで、図５（ｂ）に示す場合の他、画像処理部１０２が実行する画像処理として採用可能な処理の例を図１２に示す。図１２に示すように、本実施形態に係る画像処理部１０２は、画像に関する様々な処理を実行することが可能である。図４のＳ４０６において、図１２に示すような様々な画像処理を実行した上で抽出条件情報を生成することにより、類似画像の検索精度を更に向上することが可能となる。
【００６２】
図１２に示す“パース抽出・３次元回転”処理は、入力画像からパースを抽出して画像に表示されている物品や図形の形態を３次元情報として認識し、その形態を３次元空間上で回転させる処理である。このような処理により、同一の物品を異なる角度から表示することによって、２つの画像において異なる形態が表示されている場合であっても、上記２つの画像を類似画像として抽出することが可能となる。
【００６３】
また、画像検索の結果表示においては、どのような基準に基づいて画像が抽出されたのか、理解が困難であるという課題があった。しかしながら、本実施形態においては、図１０に示すように、夫々の条件画像とその条件画像に類似するものとして抽出された類似画像とが対応付けられて表示される。このような表示態様により、抽出された類似画像がどの条件画像に基づいて抽出されたのかを容易に理解することができる。結果的に、類似画像の抽出要因を容易に理解することが可能となる。
【００６４】
以上説明したように、本実施形態に係る画像検索装置により、類似画像の判断に用いる特徴量の制限をなくし、検索精度を向上することが可能となる。また、入力された画像検索において、ユーザによる検索結果の理解を容易化することが可能となる。
【００６５】
尚、上記の説明においては、画像情報ＤＢ２００に格納されている画像情報を検索する画像検索装置１を例として説明した。ここで、検索対象である画像情報ＤＢ２００に格納されている画像情報の例としては、例えば意匠や商標の画像情報が考えられる。特に、意匠の画像情報を検索対象とする場合、意匠には６面図が添付されているため、検索対象となる物品の立体的形状を容易に把握することが可能となる。従って、図１２に示す“パース抽出・３次元回転”の処理を容易に実行することが可能となる。
【００６６】
また、検索対象である画像情報ＤＢ２００に格納されている画像情報の例として、公開特許公報等の特許文献に含まれる図面の情報等が考えられる。特許文献に含まれる図面は白黒で表示されているため、図５に示す“二値化”の画像処理を行なった上で類似画像を検索することにより、特許文献に含まれる図面の検索精度を向上することが可能となる。また、特許文献に含まれる図面は、文献に表示される際、９０°回転して表示される場合がある。このような場合は、図５に示す“９０°回転”の処理を行なった上で類似画像を検索することにより、図面の検索精度を向上することが可能となる。
【００６７】
尚、上記の説明においては、図５に示すように、画像を回転する処理として“９０°回転”を例として説明した。しかしながら、回転の角度は９０°に限らず、任意に設定可能である。また、より広範な類似画像の抽出を可能とするために、複数の回転角度で入力画像を回転させ、複数の出力画像を生成するようにしても良い。このような場合、例えば、１５°、３０°、４５°、６０°、・・・、３４５°のように、１５°刻みで入力画像を回転させ、出力画像を生成するようにしても良い。上記１５°の角度をより小さい角度とすれば、それだけ多くの出力画像を生成することとなり、より広範囲からの類似画像の抽出が可能となる。他方、上記１５°の角度を大きくすれば、生成される出力画像が少なくなり、検索に要する処理の負荷を軽減することが可能となる。
【００６８】
また、図５に示すように、本実施形態に係る画像処理部１０２が実行可能な画像処理として、“左右反転”及び“上下反転”がある。これらの処理はいずれも“反転”処理ではあるが、例えば、画像面に平行な方向であって画像の高さ方向を軸として画像を１８０°回転させることにより、左右反転処理が完了する。また、画像面に平行な方向であって画像の幅方向を軸として画像を１８０°回転させることにより、上下反転処理が完了する。即ち、“左右反転”及び“上下反転”処理も画像の回転処理に含まれる。
【００６９】
画像に表示されている物品や図形等と類似する物品や図形が表示された画像を抽出することが画像検索の目的の一つである。しかしながら、画像において物品や図形を表示する角度が異なる場合、同一の物品や図形を表示する場合であっても、画像として表示される形態が相違し、類似画像として抽出されない可能性がある。画像の回転処理を実行することにより、上記課題を解決することができる。
【００７０】
また、図１２において説明したように、本実施形態に係る画像処理部１０２は、“パース抽出・３次元回転”の処理を実行することが可能である。上述した回転によって類似画像の抽出が困難となる課題は、画像に表示されている物品等が立体物である場合に特に顕著である。立体的な物品や図形の場合、その物品若しくは図形を表示する方向が異なれば、画像に表示される物品若しくは図形の形態が大きく異なるためである。上記“パース抽出・３次元回転”処理により、このような課題を解決することが可能となる。
【００７１】
上記“パース抽出・３次元回転”の処理は、画像自体を回転させる処理ではなく、入力画像に表示されている物品や図形等の形態を回転させる処理である。他方、上記“９０°回転”、“左右反転”、“上下反転”の処理は、画像自体を回転させる処理である。従って、“パース抽出・３次元回転”の処理と、“９０°回転”、“左右反転”、“上下反転”の処理とでは厳密には“回転”の意味が異なるが、画像が表示する形態を回転させるという点で共通する。上述したように、画像に表示されている物品等の表示角度の課題は、画像検索において大きな課題の１つである。従って、入力画像が表示する形態を回転させる処理は、画像検索における検索制度の向上において特に有効である。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施形態に係る画像検索システムの運用形態を示す図である。
【図２】本発明の実施形態に係る画像検索装置のハードウェア構成を模式的に示すブロック図である。
【図３】本発明の実施形態に係る画像検索装置の機能構成を示すブロック図である。
【図４】本発明の実施形態に係る画像検索システムの動作を示すシーケンス図である。
【図５】本発明の実施形態に係る入力画像及び処理画像の例を示す図である。
【図６】本発明の実施形態に係る画像検索処理工程において生成される情報の例を示す図である。
【図７】本発明の実施形態に係る画像情報ＤＢに格納されている情報の例を示す図である。
【図８】本発明の実施形態に係る画像検索処理工程において生成される情報の例を示す図である。
【図９】本発明の実施形態に係る画像検索処理工程において生成される情報の例を示す図である。
【図１０】本発明の実施形態に係る画像検索処理工程において生成される情報の例を示す図である。
【図１１】本発明の実施形態に係る抽出結果表示画面の表示例を示す図である。
【図１２】本発明の実施形態に係る画像処理部が実行可能な画像処理の例を示す図である。
【符号の説明】
【００７３】
１    画像検索装置
２    クライアント装置
１０    ＣＰＵ
２０    ＲＡＭ
３０    ＲＯＭ
４０    ＨＤＤ
５０    Ｉ／Ｆ
６０    ＬＣＤ
７０    操作部
８０    バス
１００    検索制御部
１０１    入力画像情報取得部
１０２    画像処理部
１０３    画像情報抽出部
１０４    抽出結果処理部
１１０    情報入力部
１２０    ネットワークＩ／Ｆ
１３０    表示部
２００    画像情報ＤＢ
５００    抽出結果表示画面
５０１    条件画像表示部
５０２    類似画像表示部
【図１】
0005049871.tif 000002
【図２】
0005049871.tif 000003
【図３】
0005049871.tif 000004
【図４】
0005049871.tif 000005
【図５】
0005049871.tif 000006
【図６】
0005049871.tif 000007
【図７】
0005049871.tif 000008
【図８】
0005049871.tif 000009
【図９】
0005049871.tif 000010
【図１０】
0005049871.tif 000011
【図１１】
0005049871.tif 000012
【図１２】
0005049871.tif 000013