(57)【要約】【課題】分散型画像検索システムにおいて画像検索時間を短縮する。【解決手段】予め定められた特徴量の部分空間別に分散配置された複数の画像検索装置の一つは、リクエスト受信手段２１によりクライアントから画像登録要求又は画像検索要求を受信し、受信した画像登録要求又は画像検索要求中の登録画像又は検索画像の特徴量を特徴量算出手段２３で算出する。算出された特徴量の部分空間に基いてリクエスト転送先特定手段２４により画像登録又は画像検索を行う画像検索装置を特定し、自装置２５，２７，２８で登録・蓄積又は検索を行い、或いはリクエスト転送手段２６により特定された他の画像検索装置に画像登録要求又は画像検索要求を転送する。画像検索結果受信手段２９により他の画像検索装置から検索結果を取得し、レスポンス送信手段２２により検索結果情報をクライアントに送信する。【選択図】  図３
2005157931.tif 000002
【特許請求の範囲】
【請求項１】
予め定められた特徴量の部分空間別に分散配置された画像検索装置間で画像登録又は画像検索を分担する画像検索システムにおいて使用可能な画像検索装置であって、
登録画像又は検索画像の特徴量を算出する手段と、
算出された特徴量の部分空間に基いて画像登録又は画像検索を行う画像検索装置を特定する手段と、
特定された画像検索装置に画像登録要求情報又は画像検索要求情報を転送する手段と、
を備えたことを特徴とする画像検索装置。
【請求項２】
請求項１記載の画像検索装置において、
前記算出された特徴量の部分空間に基いて画像登録又は画像検索を行う画像検索装置を特定する手段は、算出された特徴量の部分空間の画像検索装置と共に前記部分空間に隣接する特徴量の部分空間を保持する画像検索装置を特定することを特徴とする画像検索装置。
【請求項３】
予め定められた特徴量の部分空間別に分散配置された画像検索装置間で画像登録又は画像検索を分担する画像検索システムの画像検索装置における画像検索方法において、
クライアント装置から画像登録要求情報又は画像検索要求情報を受信する工程と、
受信した画像登録要求情報又は画像検索要求情報に含まれる登録画像又は検索画像の特徴量を算出する工程と、
算出された特徴量の部分空間に基いて画像登録又は画像検索を行う画像検索装置を特定する工程と、
自らが画像検索装置として特定されたとき、画像登録又は画像検索を行い、他の画像検索装置が特定されたとき、特定された画像検索装置に画像登録要求情報又は画像検索要求情報を転送する工程と、
特定された他の画像検索装置から画像検索結果の画像識別番号を取得する工程と、
自からの画像検索結果及び又は他の画像検索結果の画像識別番号をクライアント装置に送信する工程と、
を有することを特徴とする画像検索方法。
【請求項４】
請求項３記載の各工程の処理をコンピュータに実行させるためのプログラム。
【請求項５】
請求項４記載のプログラムを記録したコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＬＡＮ、インターネット等のネットワークに接続されたクライアントコンピュータ、文書管理装置（画像データベース）及び複数の画像検索装置からなる分散型画像検索システムにおいて使用される画像検索装置、画像検索方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
従来、ネットワークで接続した複数の各コンピュータにそれぞれデータベースを保持し、あたかも単一のデータベースとして処理する分散データベースシステムが知られている。この分散データベースシステムでアクセス要求の検索条件に合致するデータが、複数のデータベースに存在する場合、分散データベース上の全ての該当データを効率よく取得するために、クライアントコンピュータは、検索要求者が指定した検索リクエストを受付け、予め１以上登録された接続先のサーバコンピュータに、その検索リクエストを委譲し、委譲先のサーバコンピュータにおいては、クライアントコンピュータからの検索リクエストに応答すると共に、サーバコンピュータ自身もクライアントコンピュータとして検索リクエストを予め登録された他のサーバコンピュータへ自律的に委譲する。
【０００３】
このように分散データベースシステムでは、サーバコンピュータ間で検索リクエストの委譲及びクライアントコンピュータへの応答を繰り返す。そしてクライアントコンピュータは接続先サーバコンピュータ若しくは接続先のサーバコンピュータから委譲された他のサーバコンピュータからの検索対象データを受信して検索依頼者に出力する。これにより、検索要求者からの１度の検索リクエストに基き、該当するデータを複数の分散データベースから自動的に取得している（特許文献１参照）。
【特許文献１】特開２０００−２５０９１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、昨今、サーバの設置個所が増えると共にサーバに付属するデータベースの容量が大規模化し、そこに蓄積される検索対象の文書や画像の数が膨大になっている。このため特許文献１記載の分散データベースのように、検索動作をサーバ（検索装置）の自律的動作にまかせ、分散配置された全てのデータベースを次々と検索していると、検索に時間がかかることになった。
【０００５】
そこで、本発明は、ネットワークに接続された画像検索装置において、（１）分散配置される画像検索装置の増大化と画像検索装置（データベース）に蓄積される検索対象画像の膨大化に対処して短時間で効率的な画像検索が可能な画像登録ができ、それにより画像検索時間を短縮できるようにすることを第１の目的とし、（２）そのときに検索漏れが生じないようにすることを第２の目的とする。
【課題を解決するための手段】
【０００６】
請求項１の発明は、予め定められた特徴量の部分空間別に分散配置された画像検索装置間で画像登録又は画像検索を分担する画像検索システムにおいて使用可能な画像検索装置であって、登録画像又は検索画像の特徴量を算出する手段と、算出された特徴量の部分空間に基いて画像登録又は画像検索を行う画像検索装置を特定する手段と、特定された画像検索装置に画像登録要求情報又は画像検索要求情報を転送する手段と、を備えたことを特徴とする画像検索装置である。
【０００７】
請求項２の発明は、  請求項１記載の画像検索装置において、前記算出された特徴量の部分空間に基いて画像登録又は画像検索を行う画像検索装置を特定する手段は、算出された特徴量の部分空間の画像検索装置と共に前記部分空間に隣接する特徴量の部分空間を保持する画像検索装置を特定することを特徴とする画像検索装置である。
【０００８】
請求項３の発明は、予め定められた特徴量の部分空間別に分散配置された画像検索装置間で画像登録又は画像検索を分担する画像検索システムの画像検索装置における画像登録又は画像検索方法において、クライアント装置から画像登録要求情報又は画像検索要求情報を受信する工程と、受信した画像登録要求情報又は画像検索要求情報に含まれる登録画像又は検索画像の特徴量を算出する工程と、算出された特徴量の部分空間に基いて画像登録又は画像検索を行う画像検索装置を特定する工程と、自らが画像検索装置として特定されたとき、画像登録又は画像検索を行い、他の画像検索装置が特定されたとき、特定された画像検索装置に画像登録要求情報又は画像検索要求情報を転送する工程と、特定された他の画像検索装置から画像検索結果の画像識別番号を取得する工程と、自からの画像検索結果及び又は他の画像検索結果の画像識別番号をクライアント装置に送信する工程と、を有することを特徴とする画像検索方法である。
【０００９】
請求項４の発明は、請求項３記載の各工程の処理をコンピュータに実行させるためのプログラムである。
【００１０】
請求項５の発明は、請求項４記載のプログラムを記録したコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００１１】
請求項１，３に対応する効果：ネットワークに分散配置される画像検索装置が増大化し画像検索装置（データベース）に蓄積される検索対象画像の数が膨大化しても短時間で効率的な画像検索を可能にする画像登録ができ、それにより画像検索時間が短縮する。
請求項２に対応する効果：画像検索時間が短縮化される中で検索漏れをなくすことができる。
請求項４，５に対応する効果：汎用の画像検索装置を容易に前記効果を奏する画像検索装置として機能させることができる。
【発明を実施するための最良の形態】
【００１２】
図１は、本発明が実施される分散型画像検索システムのブロック構成図であり、図中、画像処理装置Ｃ１は、ＬＡＮ、インターネット等の電気通信回線Ｔを介して文書管理装置Ｒ１及び分散配置される画像検索装置Ｓ１，Ｓ２…と接続される。
【００１３】
画像処理装置Ｃ１は、クライアントコンピュータであり、ユーザーは画像の登録や検索を行う場合、コンピュータ画面の表示を確認しながらマウスやキー入力操作によって文書管理装置Ｒ１に接続し、登録又は検索しようとする画像を取得し、その画像を登録或いは検索する元の画像、即ち登録キー画像又は検索キー画像として登録リクエスト又は検索リクエストと共に画像検索装置Ｓ１に送信する。画像検索装置Ｓ１は登録リクエスト又は検索リクエストにより自らの装置で登録キー画像又は検索キー画像の登録又は検索を行い、更に他の画像検索装置Ｓ２，Ｓ３・・等を特定して登録又は検索を行わせる。そして特定された画像検索装置の検索結果である画像の識別番号を受信し、自画像検索装置の検索結果の画像の識別番号とともに画像処理装置Ｃ１に送信する。本発明において取り扱われる画像には、画像を一意に識別可能にする識別番号（以下、画像識別番号と略称）が付与されており、画像は常に画像識別番号と一体で取り扱われる。画像処理装置Ｃ１は、この画像識別情報を文書管理装置Ｒ１に送る。文書管理装置Ｒ１は、画像識別番号により画像を管理蓄積しているので、画像識別番号を受信すると、この画像識別番号に対応する画像を画像処理装置Ｃ１に送り返す。なお、本実施形態では文書管理装置Ｒ１は１つのみ示されているが、画像の形体や種別毎に複数設けてもよい。
【００１４】
上述のネットワーク分散型画像検索システムにおいて使用される通信方式は、画像処理装置Ｃ１、文書管理装置Ｒ１、画像検索装置Ｓ１乃至Ｓｎが共通の遠隔手続き呼出方式で通信できるようにＳＯＡＰ（Ｓｉｍｐｌｅ  Ｏｂｊｅｃｔ  Ａｃｃｅｓｓ  Ｐｒｏｔｏｃｏｌ）を利用する。画像検索装置Ｓ１のリクエスト受信手段はＨＴＴＰの所定のポート（８０番など）で画像処理装置Ｃ１からの接続を待ち、画像処理装置Ｃ１からのＳＯＡＰリクエストを受信する。また検索結果をＳＯＡＰレスポンスとして送信手段により画像処理装置Ｃ１に送信する。ＳＯＡＰは、Ｗ３Ｃ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ  Ｃｏｎｓｏｒｔｉｕｍ）により勧告された規格であり、ＸＭＬを用いて手続き呼出し及び検索結果を抽象化して記述し、異種システム間の結合を可能にする。なお、本実施形態ではＳＯＡＰを利用するが、この規格の使用のみに限定されるものではない。
【００１５】
次に、本実施形態に係る画像検索装置について説明する。
図２は、画像検索装置のハードウエア構成を示すブロック図である。図２において、中央処理装置（以下、ＣＰＵと略称）１は画像検索装置の各種動作を制御し、ＲＯＭ２は画像検索装置を起動するためのプログラム等を記憶し、ＲＡＭ３は画像検索処理のために検索結果データを一時的に記憶する。送受信装置５はクライアントコンピュータＣ１及び他の画像検索装置Ｓ２，Ｓ３・・と登録リクエスト、検索リクエスト及び検索結果のやり取りを行う。またキーボード等の入力装置６は画像登録、検索等の指示を入力可能にし、液晶タイプの表示装置７は検索結果の画像等を表示する。更にハードディスクタイプの記憶装置８は本発明に係る検索処理を行うためのプログラムや画像特徴量のほか各種データ等を記憶し、記憶媒体駆動装置９は画像登録・検索処理プログラムを搭載したＣＤ−ＲＯＭ等からプログラムを読取り記憶装置８に記憶させる。これらの各装置類はバス回路１０により接続される。
【００１６】
更に本発明の実施形態に係る画像登録・検索処理手段の構成動作について説明する。
図３は、画像検索装置で実現される画像登録・検索処理手段の構成を示すブロック図である。
【００１７】
（実施形態１）画像登録を行う場合、まずユーザーはクライアントコンピュータＣ１からネットワークＴを経て文書管理装置Ｒ１にアクセスし、登録画像（登録キー画像）を取得する。登録キー画像はサムネイル画像の場合もある。画像には画像識別情報が付与されているので、登録キー画像を取得するときは、この画像識別情報も一緒に取得されることになる。クライアントコンピュータＣ１は、取得した登録キー画像をクライアントコンピュータＣ１の不図示の送受信装置から画像検索装置Ｓ１に送信する。ユーザーは既に手元に登録キー画像を入手しているときは、そのままその画像を画像検索装置Ｓ１に送信してもよい。
【００１８】
図３において、画像検索装置Ｓ１のリクエスト受信手段２１はクライアントコンピュータＣ１から登録キー画像を含む登録リクエストを受信すると、これを特徴量算出手段２３に渡す。
【００１９】
特徴量算出手段２３は登録リクエスト中の登録キー画像の特徴量を算出し、図４、図５で後述するリクエスト転送先特定手段２４に渡す。リクエスト転送先特定手段２４がリクエスト転送先として画像検索装置Ｓ１を特定する場合は、算出された特徴量は画像登録手段２７によってその画像識別情報と共に特徴量蓄積手段２８に蓄積される。特徴量蓄積手段２８の実態は記憶装置８である。リクエストの転送先として画像検索装置Ｓ２，Ｓ３・・を特定する場合は、登録キー画像はリクエスト転送手段２６により該当する画像検索装置に送信され、当該画像検索装置において蓄積される。
【００２０】
続いて、リクエスト転送先特定手段２４について図４及び図５を参照して説明する。
図４は登録キー画像の画像識別番号と特徴量の関連を示す図である。
【００２１】
ここで本発明における特徴量は、画像を構成する色をいくつかのグループに分け、それぞれのグループに属する色が画像全体に占める割合を特徴量として算出する。つまり色を構成する特徴量空間をいくつかのグループに分け、それぞれのグループに属する部分空間が特徴量空間に占める割合を特徴量として算出する。ＲＧＢの３プレーンから構成される画像では、各ピクセルがそれぞれのプレーンの値を表す数値の組で表されるが、それぞれのプレーンを例えば３つの区間に分割すると、各ピクセルは３（赤の度合い）＊３（緑の度合い）＊３（青の度合い）＝２７種のグループのどれかに属することになる。従って、この場合の特徴量は、画像全体のピクセル数に占めるそれぞれのグループに属するピクセル数の割合を計算すると、２７個の要素からなる多次元の数値列（ベクトル）が得られる。
【００２２】
なお、特徴量を前記ベクトルとすることによって、画像同士の距離も便宜的に定義することができるので、登録又は検索対象とする画像の集合から特徴量を算出しておき、検索キー画像に対しても同様の特徴量を算出しそれに距離的に近い画像を選択することによって類似画像が検索できるようになる。上述の３プレーンを３区分する特徴量算出の例は最も単純な例であり、本発明で実施される特徴量はこれに限定されるものではない。
【００２３】
説明を簡単にするために、前記特徴量を元に３つの数値で表される便宜上の特徴量を定義する。まず前記２７個のグループを、赤緑青全て低、２つが低で１つは中又は高（６個）、２つが中で１つが低（３個）、すべてが中、低中高１つずつ（６個）、２つが中で１つが高（３個）、２つが高で１つが低又は中（６個）、すべてが高、のように数え上げて順序を決める。こうして「赤低、緑低、青低」・・・「赤中、緑中、青中」・・・「赤高、緑高、青高」のような列が得られる。次にこれを順に９個ずつの３つの組に分け、大きな３つのグループを作る。この３つの大きなグループそれぞれに属するピクセル数が全体に占める割合を特徴量として表記することにする。こうして特徴量は、０から９の和が１０になる数値３個の組により表示することができる。
引続き図４の登録キー画像の画像識別番号と特徴量の関連を示す図において、画像識別番号１の画像は、特徴量が１，１，８の３個の数値の組によって表され、画像識別番号２の画像は特徴量が３，３，４、画像識別番号３の画像は特徴量が４，４，２、画像識別番号４の画像は特徴量が７，２，１のそれぞれ３個の数値の組によって表されるものとする。このように特徴量が複数の数値の組により表されるとき、最初の数値を特徴量の第１要素と呼ぶ。そして本発明ではリクエストの転送先を特徴量の第１要素により特定する。いま画像検索装置がＳ１，Ｓ２，Ｓ３で区別される３つの画像検索装置として構成されるとすると、第１要素が０から３までの特徴量の画像は画像検索装置Ｓ１を、第１要素が４から６までの特徴量の画像は画像検索装置Ｓ２を、そして第１要素が７から９までの特徴量の画像は画像検索装置Ｓ３を、それぞれ転送先として特定するものとする。この結果、画像識別番号１及び２の画像は画像検索装置Ｓ１が、画像識別番号３の画像は画像検索装置Ｓ２が、画像識別番号４の画像は画像検索装置Ｓ３が、それぞれ転送先画像検索装置となる。
【００２４】
図５は、特徴量の第１要素別に転送先画像検索装置を特定したテーブルであり、リクエスト転送先特定手段２４はこのテーブルを保持している。従って特徴量が算出され、この特徴量がリクエスト転送先特定手段２４に渡されると、リクエスト転送先特定手段２４はテーブルを参照して転送先の画像検索装置を特定する。転送先画像検索装置として自画像検索装置Ｓ１以外の他の画像検索装置Ｓ２，Ｓ３・・のいずれかが特定されたときは、リクエスト転送手段２６により登録キー画像は当該転送先画像検索装置に転送される。
【００２５】
本実施形態によれば、分散配置される画像検索装置Ｓ１，Ｓ２，Ｓ３を、色を構成する特徴量の第１要素により部分空間に区分しておき、登録キー画像を特徴量の属する部分空間に基いて対応する画像検索装置に登録するので、検索時に該当する特徴量を短時間で検索できるようになる。
【００２６】
（実施形態２）画像検索を行う場合、この場合も画像登録の場合と同様に、クライアントコンピュータＣ１は、文書管理装置Ｒ１から検索キー画像を取得し、画像検索装置Ｓ１に送信する。勿論手元に既に検索キー画像を入手しているときは、そのままその画像を画像検索装置Ｓ１に送信してもよい。
【００２７】
画像検索装置Ｓ１の特徴量算出手段２３は、検索キー画像の特徴量を算出し、これをリクエスト転送先特定手段２４に渡す。リクエスト転送先特定手段２４は、上述した登録キー画像の転送先を特定する手法と同じ手法により転送先画像検索装置を特定する。
【００２８】
リクエスト転送先特定手段２４がリクエスト転送先として画像検索装置Ｓ１を特定する場合は、算出された特徴量は画像検索手段２５に渡され、画像検索手段２５は検索キー画像の特徴量と特徴量蓄積手段２８に予め蓄積されている画像特徴量の類似度を比較して類似する画像を検索する。検索結果の画像識別番号はレスポンス送信手段２１によりクライアントコンピュータＣ１に送信する。
【００２９】
リクエストの転送先として画像検索装置Ｓ２，Ｓ３・・を特定する場合は、検索キー画像はリクエスト転送手段２６により該当する画像検索装置に送信され、当該画像検索装置において画像検索が行われる。そして結果の画像識別番号を、画像検索結果受信手段２９により受信する。受信した検索結果はレスポンス送信手段２２によりクライアントコンピュータＣ１に送信する。
【００３０】
クライアントコンピュータＣ１は、送信された画像識別番号を文書管理装置Ｒ１に送信することにより、文書管理装置Ｒ１が画像識別番号により管理している画像及びサムネイル画像を取得し表示画面上で見ることができる。
【００３１】
リクエスト転送先特定手段２４がリクエスト転送先を特定する場合において、リクエスト転送先特定手段２４は、算出された特徴量の画像検索装置と共にこの特徴量に隣接する特徴量の画像検索装置を特定することができる。例えば上述した例で、特徴量の第１要素が３である画像は画像検索装置Ｓ１を特定すると共に、第１要素が１しか違わない４である画像と類似する可能性もあるので、画像検索装置Ｓ２もリクエスト転送先として特定してもよい。
【００３２】
このように複数の画像検索装置が特定されたときは、画像検索装置Ｓ１がそれらの検索結果を統合し、類似度の高い上位の所定数を検索結果としてクライアントコンピュータＣ１に送信する。
【００３３】
特徴量から転送先を特定するには、このような直接的なテーブルベースのものでもよいが、予め判っている登録画像の傾向に基いて画像が多く登録される特徴量の区間は細かく分割したり、特徴量を主成分分析等に基いて変換するなどしてもよい。
【００３４】
本実施形態によれば、検索キー画像の特徴量の第１要素により、対応する特徴量の第１要素の画像検索装置Ｓ１又はＳ２又はＳ３を選択し、選択された画像検索装置において画像検索するので、検索時間を短縮することができる。また検索キー画像の特徴量の部分空間に隣接する特徴量の部分空間を保持する画像検索装置を同時に選択するときは、検索時間を短縮し且つ漏れのない検索を行うことができる。
【００３５】
図６は、画像登録及び画像検索の処理の手順を示す図である。図６に従って処理手順を説明する。説明中、（Ｓ）は処理のステップを表す。画像検索装置Ｓ１がクライアントコンピュータＣ１から画像登録リクエスト又は画像検索リクエストを受信すると（Ｓ１）、受信した画像登録リクエスト又は画像検索リクエストに含まれる登録キー画像又は検索キー画像の特徴量を算出し（Ｓ２）、算出された特徴量の部分空間に基いて画像登録又は画像検索を行う画像検索装置を特定する（Ｓ３）。自らが画像検索装置として特定されたとき、画像登録又は画像検索を行い、他の画像検索装置が特定されたとき、特定された画像検索装置に画像登録リクエスト又は画像検索リクエストを転送し（Ｓ４）、特定された他の画像検索装置から画像検索結果の画像識別番号を取得し（Ｓ５）、自らの検索結果及び又は他の検索結果の画像識別番号をクライアントコンピュータＣ１に送信し（Ｓ６）、この処理を終了する。
【００３６】
以上述べた画像登録及び画像検索を実行させるために、その処理の手順を汎用のプログラム言語によりコンピュータプログラムとして記述し、かつ、このプログラムをフレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＭＯ等の任意の記録媒体に記録し、これをコンピュータに読取らせることで本発明に係る画像登録及び画像検索を容易に実施することができる。本プログラムは、記録媒体に記録する以外に、インターネット、イントラネット等の任意のネットワークを介して、画像検索装置のコンピュータに直接読取らせることも可能である。
【産業上の利用可能性】
【００３７】
本発明は、上述のシステム構成により類似画像の検索装置において利用可能になる。
【図面の簡単な説明】
【００３８】
【図１】本発明が実施される分散型画像検索システムのブロック構成図である。
【図２】図１の画像検索装置のハードウエア構成を示すブロック図である。
【図３】図１の画像検索装置で実現される処理手段の構成を示すブロック図である。
【図４】登録キー画像の画像識別番号と特徴量の関連を示す図である。
【図５】特徴量別に転送先画像検索装置を特定するテーブルの例を示す図である。
【図６】画像登録及び画像検索の処理の手順を示す図である。
【符号の説明】
【００３９】
１・・ＣＰＵ、２・・ＲＯＭ、３・・ＲＡＭ、５・・送受信装置、６・・操作パネル、７・・表示装置、８・・記憶装置、９・・記憶媒体駆動装置、１０・・バス回路。
【図１】
2005157931.tif 000003
【図２】
2005157931.tif 000004
【図３】
2005157931.tif 000005
【図４】
2005157931.tif 000006
【図５】
2005157931.tif 000007
【図６】
2005157931.tif 000008