(57)【要約】【課題】ネットワークを介して検索要求画像を受信し、その特徴量に基いて類似する特徴量の画像を検索し、検索結果を送信する。【解決手段】画像蓄積装置は、リクエスト受信手段２１を介して検索要求画像を受信し、特徴量算出手段２３でその特徴量を算出する。特徴量蓄積手段２４は不図示の外部画像蓄積装置の画像の特徴量を蓄積している。画像検索手段２５は算出した特徴量と既に蓄積している特徴量を参照し、類似する特徴量及びその識別情報を検索する。この識別情報又は識別情報に基いて前記画像蓄積装置から読み出した画像又は画像データを送信する。【選択図】　　　　　図２
2004139210.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに接続可能な画像検索装置であって、ネットワークを介して画像の検索要求を受信し、検索要求画像の特徴量に類似する特徴量の画像を検索する画像検索装置において、
識別情報が付与された検索要求画像を受信する手段と、
受信した検索要求画像の特徴量を算出する手段と、
検索対象画像の特徴量及びその識別情報を蓄積する手段と、
算出した検索要求画像の特徴量と事前に蓄積した検索対象画像の特徴量を参照して、類似する特徴量及びその識別情報を検索する手段と、
前記識別情報に基き検索対象画像データを蓄積する装置にアクセスし類似する特徴量の画像又は画像データを読み出す手段と、
類似する特徴量の画像又は画像データ又はその識別情報を送信する手段
を備えたことを特徴とする画像検索装置。
【請求項２】
ネットワークに接続可能な画像検索装置であって、ネットワークを介して画像の検索要求を受信し、検索要求画像の特徴量に類似する特徴量の画像を検索する画像検索装置において、
検索要求画像の識別情報を受信する手段と、
検索対象画像の特徴量及びその識別情報を蓄積する手段と、
受信した識別情報に対応する画像の特徴量と事前に蓄積した検索対象画像の特徴量を参照して、類似する特徴量の画像の識別情報を検索する手段と、
検索した識別情報を送信する手段
を備えたことを特徴とする画像検索装置。
【請求項３】
ネットワークに接続可能な画像検索装置であって、ネットワークを介して画像の検索要求を受信し、検索要求画像の特徴量に類似する特徴量の画像を検索する画像検索装置において、
識別情報が付与された検索要求画像の特徴量の一部を受信する手段と、
検索対象画像の特徴量及びその識別情報を蓄積する手段と、
検索要求画像の特徴量の一部と事前に蓄積した検索対象画像の特徴量を参照して、類似する特徴量及びその識別情報を検索する手段と、
前記識別情報に基き検索対象画像データを蓄積する装置にアクセスし類似する特徴量の画像又は画像データを読み出す手段と、
類似する特徴量の画像又は画像データ又はその識別情報を送信する手段
を備えたことを特徴とする画像検索装置。
【請求項４】
請求項１乃至３のいずれかに記載の画像検索装置において、
送信する画像又は画像データ又は識別情報を類似する特徴量の順番に整列する手段、
及び／又は、送信する画像又は画像データ又は識別情報に類似度を付加する手段、
及び／又は、検索する画像の限度数を設定する手段、
及び／又は、検索する画像の特徴量の範囲を設定する手段、
及び／又は、検索した画像が検索要求条件を満たしているか否かを判定する手段
を備えたことを特徴とする画像検索装置。
【請求項５】
請求項１乃至４記載のいずれかに記載の画像検索装置において、前記検索対象画像の特徴量及びその識別情報を蓄積する手段は、複数の検索対象画像データ蓄積装置の全て又は個々に対応して設けたことを特徴とする画像蓄積装置。
【請求項６】
請求項５記載の画像検索装置において、前記算出した検索要求画像の特徴量と事前に蓄積した検索対象画像の特徴量を参照して、類似する特徴量及びその識別情報を検索する手段は、検索要求に応じて前記全て又は個々の検索対象画像の特徴量及び識別情報を蓄積する手段にアクセスして類似する特徴量及びその識別情報を検索することを特徴とする画像検索装置。
【請求項７】
ネットワークに接続可能な画像検索装置であって、ネットワークを介して画像の検索要求を受信し、検索要求画像の特徴量に類似する特徴量の画像を検索する画像検索装置において、
識別情報が付与された登録要求画像又は登録要求画像の識別情報を受信する手段と、
前記登録要求画像の識別情報に基き検索対象画像データを蓄積する装置にアクセスし前記識別情報の画像を読み出す手段と、
前記登録要求画像又は前記識別情報の画像の特徴量を算出する手段と、
算出した特徴量及びその識別情報を蓄積する手段と、
算出した登録要求画像の特徴量及びその識別情報を前記蓄積手段に登録する手段と、
登録終了を送信する手段
を備えたことを特徴とする画像検索装置。
【請求項８】
請求項７記載の画像検索装置において、
前記登録手段は、複数の検索対象画像データ蓄積装置の全て又は個々に対応して設けた前記検索対象画像の特徴量及びその識別情報を蓄積する手段に、算出した特徴量を登録することを特徴とする画像検索装置。
【請求項９】
請求項７又は８記載の画像検索装置において、検索要求画像が文書データで表現されているとき、印刷イメージに相当する画像データを取得又は生成する手段
を備えたことを特徴とする画像検索装置。
【請求項１０】
ネットワークを介して画像の検索要求を受信し、検索要求画像の特徴量に類似する特徴量の画像を検索する手順を画像検索装置のコンピュータに実行させるためのプログラムであって、
識別情報が付与された検索要求画像を受信する処理手順と、
受信した検索要求画像の特徴量を算出する処理手順と、
検索対象画像の特徴量及びその識別情報を蓄積手段にアクセスする処理手順と、
算出した検索要求画像の特徴量と事前に蓄積した検索対象画像の特徴量を参照して、類似する特徴量及びその識別情報を検索する処理手順と、
前記識別情報に基き検索対象画像データを蓄積する装置にアクセスし類似する特徴量の画像又は画像データを読み出す処理手順と、
類似する特徴量の画像又は画像データ又はその識別情報を送信する処理手順
を画像検索装置のコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像記憶装置、クライアントパソコンが接続された、ＬＡＮ、インターネット等の電気通信回線に接続可能な画像検索装置であって、クライアントパソコンから画像検索のリクエストを受信し、リクエストに指定された条件に従って画像検索を行い、画像蓄積装置から検索結果の画像データを取得し、このデータをクライアントパソコンに送信する画像検索装置に関する。
【０００２】
【従来の技術】
コンピュータ利用の一般化によって、オフィスにおける文書作成はワードプロセッサソフト等を用いて電子的に行われることが一般的となっている。更にオフィスのＯＡ化、ネットワーク化により、電子的に作成された文書は必ずしも紙に印刷される過程を経ずにそのまま利用され、蓄積され、破棄される、つまり、文書はそのライフサイクルを通じて電子的形式で管理されるようになっている。従来紙ベースでの作業が中心であった時代には、文書蓄積が問題となり、そこから目的の文書を選び出すことは大変な労力を要したが、文書が電子的形式で扱われる場合、コンピュータのファイルシステムに備わる階層化機構を用いて分類し、保管する方法が簡単に実行できる。このため分類の階層化機能は重要である。
しかし、蓄積文書数が大量になると、どの文書がどの階層に格納されたかを類推することは困難となる。電子形式管理の文書では、内容に特定の文字列が含まれるかどうかを判定することが容易に行えるため、大量の文書の内容を見て必要な語句を含む文書を検索することは、分類の階層化に加えて重要な機能となっている。
【０００３】
文書管理における検索では、通常、記憶装置に登録された文書のテキスト情報を何らかの形で算出し、そのテキストを形態素解析するなどしてキーワードを算出して、それらを効率的に検索できるように検索インデックスを作成する。登録する文書が文書画像の場合、ＯＣＲを用いて文書内の文字部分を認識し、得られた文字列を文書の内容と見なして検索インデックスを作成し、検索に用いる方法が行われている。しかし、近年はコンピュータのメモリや外部記憶が安価になったこともあり、より表現力を増すためにオフィスでも純粋な画像データを登録、管理したいという要請が画像検索装置開発の背景になっている。
【０００４】
画像を登録、管理する方法として、画像に関連のあるキーワードを付けて登録しておき、キーワードベースで検索する方法が利用されている。しかし、適切なキーワードをすべての画像に付与するのは労力を必要とし、適切なキーワードを付与することが難しい場合も多い。
【０００５】
そのため、ネットワークを介して接続されるクライアントコンピュータ及びサーバコンピュータからなり、複数の素材画像から、所望の素材画像を選択する画像処理システムであって、クライアントは、素材画像を保持し、サーバは与えられた対象画像に従って所望の素材画像を選択し選択された素材画像を示す情報をクライアントに出力する画像処理システムが開示されている。
より具体的には、前記サーバコンピュータは、先ずクライアントコンピュータの出力より、素材画像の識別子とその特徴量、また元画像を分割した各領域の画像特徴量を取り出す。次にサーバコンピュータは素材画像の画像特徴量と元画像の各領域の特徴量から、類似度を算出し使用する素材画像とそのモザイク画像上での位置を決定する。更にサーバコンピュータは、決定した素材画像の配置情報を出力する（特許文献１参照）。
【０００６】
【特許文献１】
特開２０００−２００２８３号公報（要約、段落（００４１）、（００４２）、（００４３）、（００４４）、図９）
【０００７】
しかしながら、前掲の画像処理システムは、サーバコンピュータは、特徴量をその識別情報と共に記憶し、記憶したこれら特徴量等と対象画像の特徴量とにより類似する特徴量の画像データを検索し、それをネットワーク上の画像蓄積装置から取得し、画像データ、或いはその識別情報をクライアントに出力することは、行っていない。また、このとき、画像データを類似度順に整列したり、これに数値情報を付加したりする等の処理をすることも行っていない。更に、ネットワーク上の複数の画像蓄積装置に対処して画像データを検索することも行っていない。更にまた、画像データの検索に対応して画像データの特徴量を特徴量蓄積手段に登録することは行っていない。従って、ユーザーは自分が必要とする画像データを自分の好みの形態で入手することができず、また入手先を個別的に或いは総合的に指定することができない、更に本発明の画像データの検索に好適なように画像データの特徴量が登録できないという問題があった。
【０００８】
本発明は、このような実状に鑑みてなされたもので、その第１の目的は、ネットワークに接続される画像検索装置において、ネットワーク上に接続された画像蓄積装置からユーザーの所望する形態で画像データを検索、入手できるようにすることであり、第２の目的は、画像検索装置の外部に接続された単数又は複数の画像蓄積装置に個々に或いは総合的に対応して検索ができるようにすることであり、第３の目的は、本発明の画像データの検索に最適な形態で画像データの特徴量を登録することである。
【０００９】
【課題を解決するための手段】
請求項１の発明は、ネットワークに接続可能な画像検索装置であって、ネットワークを介して画像の検索要求を受信し、検索要求画像の特徴量に類似する特徴量の画像を検索する画像検索装置において、識別情報が付与された検索要求画像を受信する手段と、受信した検索要求画像の特徴量を算出する手段と、検索対象画像の特徴量及びその識別情報を蓄積する手段と、算出した検索要求画像の特徴量と事前に蓄積した検索対象画像の特徴量を参照して、類似する特徴量及びその識別情報を検索する手段と、前記識別情報に基き検索対象画像データを蓄積する装置にアクセスし類似する特徴量の画像又は画像データを読み出す手段と、類似する特徴量の画像又は画像データ又はその識別情報を送信する手段を備えたことを特徴とする画像検索装置である。
【００１０】
請求項２の発明は、ネットワークに接続可能な画像検索装置であって、ネットワークを介して画像の検索要求を受信し、検索要求画像の特徴量に類似する特徴量の画像を検索する画像検索装置において、検索要求画像の識別情報を受信する手段と、検索対象画像の特徴量及びその識別情報を蓄積する手段と、受信した識別情報に対応する画像の特徴量と事前に蓄積した検索対象画像の特徴量を参照して、類似する特徴量の画像の識別情報を検索する手段と、検索した識別情報を送信する手段を備えたことを特徴とする画像検索装置である。
【００１１】
請求項３の発明は、ネットワークに接続可能な画像検索装置であって、ネットワークを介して画像の検索要求を受信し、検索要求画像の特徴量に類似する特徴量の画像を検索する画像検索装置において、識別情報が付与された検索要求画像の特徴量の一部を受信する手段と、検索対象画像の特徴量及びその識別情報を蓄積する手段と、検索要求画像の特徴量の一部と事前に蓄積した検索対象画像の特徴量を参照して、類似する特徴量及びその識別情報を検索する手段と、前記識別情報に基き検索対象画像データを蓄積する装置にアクセスし類似する特徴量の画像又は画像データを読み出す手段と、類似する特徴量の画像又は画像データ又はそれらの識別情報を送信する手段を備えたことを特徴とする画像検索装置である。
【００１２】
請求項４の発明は、請求項１乃至３のいずれかに記載の画像検索装置において、送信する画像又は画像データ又は識別情報を類似する特徴量の順番に整列する手段、及び／又は、送信する画像又は画像データ又は識別情報に類似度を付加する手段、及び／又は、検索する画像の限度数を設定する手段、及び／又は、検索する画像の特徴量の範囲を設定する手段、及び／又は、検索した画像が検索要求条件を満たしているか否かを判定する手段を備えたことを特徴とする画像検索装置である。
【００１３】
請求項５の発明は、請求項１乃至４記載のいずれかに記載の画像検索装置において、前記検索対象画像の特徴量及びその識別情報を蓄積する手段は、複数の検索対象画像データ蓄積装置の全て又は個々に対応して設けたことを特徴とする画像蓄積装置である。
【００１４】
請求項６の発明は、請求項５記載の画像検索装置において、前記算出した検索要求画像の特徴量と事前に蓄積した検索対象画像の特徴量を参照して、類似する特徴量及びその識別情報を検索する手段は、検索要求に応じて前記全て又は個々の検索対象画像の特徴量及び識別情報を蓄積する手段にアクセスして類似する特徴量及びその識別情報を検索することを特徴とする画像検索装置である。
【００１５】
請求項７の発明は、ネットワークに接続可能な画像検索装置であって、ネットワークを介して画像の検索要求を受信し、検索要求画像の特徴量に類似する特徴量の画像を検索する画像検索装置において、識別情報が付与された登録要求画像又は登録要求画像の識別情報を受信する手段と、前記登録要求画像の識別情報に基き検索対象画像データを蓄積する装置にアクセスし前記識別情報の画像を読み出す手段と、前記登録要求画像又は前記識別情報の画像の特徴量を算出する手段と、算出した特徴量及びその識別情報を蓄積する手段と、算出した登録要求画像の特徴量及びその識別情報を前記蓄積手段に登録する手段と、登録終了を送信する手段を備えたことを特徴とする画像検索装置である。
【００１６】
請求項８の発明は、請求項７記載の画像検索装置において、前記登録手段は、複数の検索対象画像データ蓄積装置の全て又は個々に対応して設けた前記検索対象画像の特徴量及びその識別情報を蓄積する手段に、算出した特徴量を登録することを特徴とする画像検索装置である。
【００１７】
請求項９の発明は、請求項７又は８記載の画像検索装置において、検索要求画像が文書データで表現されているとき、印刷イメージに相当する画像データを取得又は生成する手段を備えたことを特徴とする画像検索装置である。
【００１８】
請求項１０の発明は、ネットワークを介して画像の検索要求を受信し、検索要求画像の特徴量に類似する特徴量の画像を検索する手順を画像検索装置のコンピュータに実行させるためのプログラムであって、
識別情報が付与された検索要求画像を受信する処理手順と、受信した検索要求画像の特徴量を算出する処理手順と、検索対象画像の特徴量及びその識別情報を蓄積手段にアクセスする処理手順と、算出した検索要求画像の特徴量と事前に蓄積した検索対象画像の特徴量を参照して、類似する特徴量及びその識別情報を検索する処理手順と、前記識別情報に基き検索対象画像データを蓄積する装置にアクセスし類似する特徴量の画像又は画像データを読み出す処理手順と、類似する特徴量の画像又は画像データ又はその識別情報を送信する処理手順を画像検索装置のコンピュータに実行させるためのプログラムである。
【００１９】
以下、本発明の実施形態について図面を参照して説明する。
はじめに本発明が適用される画像検索システムの概要について説明する。
図１は、本発明の実施形態に係る画像検索システムを示す図であり、図中、ＬＡＮ、インターネット等の電気通信回線（以下、ネットワークという。）５０に本発明の実施形態に係る画像検索装置１０、クライアントパソコン３０、及び画像蓄積装置４０が接続され、画像検索システムが構成される。
前記画像検索システムにおいて、画像検索装置１０はネットワーク５０を経由してクライアントパソコン３０から画像検索のリクエストを受信し、リクエストに指定された条件に従って画像検索を行い、画像蓄積装置４０にアクセスして検索結果情報を取得し、この情報をリクエストの発信元であるクライアントパソコン３０に送信する。或いは、画像検索装置１０はネットワーク５０を経由してクライアントパソコン３０から画像検索のために特徴量を特徴量蓄積装置に登録するためのリクエストを受信し、リクエストに指定された条件に従って特徴量を登録する。
【００２０】
次に本発明の実施形態に係る画像検索装置について説明する。
（実施形態１）
本実施形態は、検索リクエストとして検索キーとなる画像を受信し、検索結果として当該画像に類似する画像又は画像データ又は識別番号を送信するものである。
この動作は、ユーザーが画像検索装置の図示しないモードキーにより、当該処理のモード（本実施形態１では、画像の受信・当該画像の類似画像等の送信モード）を選択しておくと、クライアントパソコン３０からのリクエストが受信され、これに基きＣＰＵは、各処理手段に指示を出し、選択されたモードの処理を行い、そのモードでの結果を送信する。このことは以下に説明する各実施形態で同じであるので、各実施形態における説明は省略する。
【００２１】
図２は、本発明の実施形態に係る画像検索装置の構成を示すブロック図であり、
図中、液晶型タッチパネル方式の操作表示部１１は、ユーザーが画像検索装置に対して種々の動作指示、モード選択を行うと共に指示内容を表示し、ＣＰＵ１２は、操作表示部１１の指示通りに動作するように後述する各処理手段に制御指示を行い、ＲＯＭ１３は、ＣＰＵ１２が操作表示部１１から受けた動作指示に従って各処理手段を制御するプログラム、及び後述する本発明の画像検索を自動的に行うためのプログラムを格納し、そしてＲＡＭ１４は、各種処理のために必要な情報を一時的に記憶する。なお、本発明の画像検索を自動的に行うためのプログラムは、図示されない別途設けたＨＤＤ装置に格納することができる。
【００２２】
リクエスト受信手段２１は、クライアントパソコン３０から画像を受信する。この画像には、これを一意に識別可能な識別情報（以下、画像識別情報という。）が付与されている。
【００２３】
リクエスト受信手段２１及び後述するレスポンス送信手段２２は、それぞれネットワーク５０からＴＣＰのポート８０でリクエストの受信を待ち受け、レスポンスを送信する。リクエスト及びレスポンスの送受信は、ＨＴＴＰを用いて行い、ＳＯＡＰメッセージの形でエンコードされたＸＭＬまたはＸＭＬのパートを含むマルチパートメッセージで行う。リクエストには、画像やそれに関するデータ以外に検索方法やその他機能の選択に関する手続き呼び出しのためのコードを含むこともある。本実施形態ではプロトコルをＨＴＴＰ上のＳＯＡＰとしているが、ＳＯＡＰでなく特定ＵＲＬに対するＧＥＴ／ＰＵＴ操作によりパラメータを渡す方式として独自に定義してもよいし、メールメッセージを使うなどしてもよい。
【００２４】
特徴量算出手段２３は、リクエスト受信手段２１が受信した画像から特徴量を算出する。算出した特徴量を、受信した画像つまり特徴量算出の元になった画像の識別情報と共に後述する画像検索手段２５に渡す。
【００２５】
特徴量蓄積手段２４は、画像蓄積装置４０に蓄積されている画像について、画像毎に事前に算出された特徴量を画像識別情報と共に蓄積する。
【００２６】
画像検索手段２５は、受信した画像の特徴量をキーとして特徴量蓄積手段２４にアクセスし、特徴量蓄積手段２４からキー特徴量に類似する特徴量を検索する。そして検索した類似する特徴量及びその画像識別情報を画像取得手段２６に渡す。
【００２７】
画像取得手段２６は、画像蓄積装置４０にアクセスし、類似する特徴量の画像識別情報に基いて対応する識別情報の画像又は画像データを取得し、この画像又は画像データをレスポンス送信手段２２に渡す。
【００２８】
レスポンス送信手段２２は、この画像又は画像データ又はこれらの識別情報を発信元のクライアントパソコン３０に送信する。
【００２９】
ここで特徴量算出の例として、画像を構成する色をいくつかのグループに分け、それぞれのグループに属する色が画像全体に占める割合を特徴量として算出する。ＲＧＢの３プレーンから構成される画像では、各ピクセルがそれぞれのプレーンの値を表す数値の組で表されるが、それぞれのプレーンを例えば３つの区間に分割すると、各ピクセルは３　＊　３　＊　３　＝　２７種のグループのどれかに属することになる。画像全体のピクセル数に占めるそれぞれのグループに属するピクセル数の割合を計算すると、２７個の要素からなるベクトルが得られる。これを特徴量とすることで、画像同士の距離も便宜的に定義することができる。検索対象とする画像集合から前記特徴量を算出しておき、入力画像に対しても同様の特徴量を得て、それに距離的に近い画像を選択することで、画像の検索手法の１つが得られる。
なお、前記３プレーンの例は最も単純な例であり、本発明に利用する特徴量は、これに限定されるものではない。また特徴量は、画像そのものである場合もあるが、通常は、画像が複数の色から構成されているとき、それぞれの色が占める割合や前記ベクトル等の変数（パラメータ）で表される。
【００３０】
前記検索処理をフロー図により説明する。
図３は、本発明の実施形態に係る画像検索処理のフロー図である。
ステップ（以下、Ｓで略称）１において、リクエスト受信手段２１が、検索リクエストとして画像を受信すると、それを特徴量算出手段２３に渡し特徴量の算出を行う（Ｓ２）。そしてＣＰＵ１２は、特徴量蓄積手段２４にアクセスし（Ｓ３）、算出した特徴量と既に特徴量蓄積手段２４に蓄積されている特徴量とを参照し、類似する特徴量とその画像識別情報を検索する（Ｓ４）。次に画像検索装置の外部に接続された画像蓄積装置にアクセスし（Ｓ５）、先に検出した類似特徴量の画像識別情報に対応する識別情報の画像又は画像データを読み出す（Ｓ６）、そして、この画像又は画像データ又はこれらの識別情報をクライアントパソコン３０に送信し、この処理を終了する（Ｓ７）。
【００３１】
本実施形態によれば、ユーザーは検索結果として画像を受信するので、ユーザーはリクエストに対する結果を具体的の確認することができる。
【００３２】
（実施形態２）
本実施形態は、検索リクエストとして検索キーである画像を受信し、検索結果として識別情報を送信するものである。
本実施形態は、実施形態１において、検索した類似する特徴量の画像識別情報を発信元のクライアントパソコン３０に送信する。
【００３３】
本実施形態によれば、画像識別情報を送信されたユーザー（クライアントパソコン３０）は、画像蓄積装置４０にアクセスして画像識別情報に基き自分に必要な画像データを勝手に入手することができる。
【００３４】
（実施形態３）
本実施形態は、検索リクエストとして検索キーである画像識別情報を受信し、検索結果として画像識別情報を送信するものである。
リクエスト受信手段２１は、クライアントパソコン３０から画像識別情報を受信する。そして受信した画像識別情報を画像検索手段２５に渡す。画像検索手段２５は、特徴量蓄積手段２４にアクセスし、受信した画像識別情報の特徴量に類似する特徴量の画像識別情報を検索する。検索した画像識別情報をレスポンス送信手段２２に渡し、レスポンス送信手段２２は画像識別情報を発信元のクライアントパソコン３０に送信する。
【００３５】
本実施形態によれば、画像や画像データの送受信がないので、ネットワーク利用の時間やコストが低減される。
【００３６】
（実施形態４）
本実施形態は、検索リクエストとして検索キーである特徴量を表すパラメータの一部を受信し、検索結果として画像識別情報を送信するものである。
リクエスト受信手段２１は、クライアントパソコン３０から画像の特徴量を表すパラメータの一部を受信する。
前記パラメータの一部の例として、特徴量が複数色から構成された画像に占める各色の割合（パラメータ）で表される場合、ある特定色の割合をパラメータの一部とする。
そして受信したパラメータの一部を画像検索手段２５に渡す。画像検索手段２５は、特徴量蓄積手段２４にアクセスし、受信したパラメータの一部に類似する特徴量の画像識別情報を検索する。検索した画像識別情報をレスポンス送信手段２２に渡し、レスポンス送信手段２２は画像識別情報を発信元のクライアントパソコン３０に送信する。
また、画像識別情報は画像取得手段２６に渡され、画像取得手段２６は、画像蓄積装置４０にアクセスし、類似する特徴量の画像識別情報に基いて対応する識別情報の画像又は画像データを取得し、この画像又は画像データをレスポンス送信手段２２に渡す。
【００３７】
本実施形態によれば、特徴量を表すパラメータの一部を受信して検索を行うので、特徴量算出の処理が省け高速度で検索することができる。
【００３８】
次に述べる実施形態５乃至９は、以上述べた実施形態１乃至４のバリエーションを示すものである。
【００３９】
（実施形態５）
本実施形態は、検索結果の画像又は画像データ又は画像識別情報を類似度の順に並べ替え（整列）して送信するものである。
図４は、整列手段を備えた画像検索装置のブロック構成図であり、図中、整列手段２７は、検索結果としてクライアントパソコン３０に送信する画像又は画像データ又は画像識別情報を、前記パラメータの距離情報等に基いて類似度が大きい又は小さい順に整列する。その結果はレスポンス送信手段２２に渡され、レスポンス送信手段２２は、整列した画像データ又は画像識別情報を所定のフォーマットでクライアントパソコン３０に送信する。
【００４０】
本実施形態によれば、ユーザーは自分が要求した画像データに対し検索結果の画像データの隔たり具合を順番に確認することができる。
【００４１】
（実施形態６）
本実施形態は、検索結果の画像又は画像データ又は画像識別情報を類似度の順に並べ替え（整列）して送信するとき、類似度を示す元となる特徴量（例えば、前記距離情報などのパラメータ）を付加して送信する。
図５は、類似度付加手段を備えた画像検索装置のブロック構成図であり、図中、類似度付加手段２８は、整列された画像又は画像データ又は画像識別情報にパラメータ（数値情報）を付加する。整列され且つ数値情報が付加された画像又は画像データ又は画像識別情報は、レスポンス送信手段２２に渡され、レスポンス送信手段２２は、これを所定のフォーマットでクライアントパソコン３０に送信する。
【００４２】
本実施形態によれば、ユーザーは、結果の順位が示されるだけの場合に比較して、入手する画像データがキー画像データとどの程度相違しているかの類似度を数値的に判定できる。また、クライアントパソコンはユーザへの表示に反映したり、これによりユーザーは取捨選択の条件として用いることができる。
【００４３】
（実施形態７）
本実施形態は、検索する画像の最大個数を設定するものである。
図６は、最大個数設定手段を備えた画像検索装置のブロック構成図であり、図中、最大個数設定手段２９は、リクエスト受信手段２１が画像又は画像識別情報又はパラメータと共に検索する画像の最大個数を受信すると、この個数は、画像検索手段２５又はレスポンス送信手段２２に渡される。画像検索装置２５又はレスポンス送信手段２２は、この個数に従って検索を行い、又は結果を送信する。
【００４４】
本実施形態によれば、検索結果が大量になる場合でも、一定以下の個数に制限することができる。
【００４５】
（実施形態８）
本実施形態は、検索する画像の類似度範囲を設定するものである。
図７は、類似度範囲設定手段を備えた画像検索装置のブロック構成図であり、図中、類似度範囲設定手段３１は、リクエスト受信手段２１が画像又は画像識別情報又はパラメータと共に検索する画像の類似度範囲を受信すると、この範囲は、画像検索手段２５に渡される。画像検索手段２５は、この範囲に従って検索を行い、レスポンス送信手段２２は結果を送信する。
類似度範囲は、例えば、特徴量空間内でキーとなる特徴量を中心とする球面の半径で指定し、類似度（距離）が最大（距離＝０）を示す値から一定の範囲の半径を示す１つの正の実数とすることが考えられる。
【００４６】
本実施形態によれば、画像検索装置は、類似度が最大の画像データから最小の画像データまで検索可能な全ての画像データを取得するが、一般にその画像データが類似していると認める類似の度合は、ユーザや用途によって異なる。類似度範囲を設定することにより、ユーザーは自分が似ていると考える類似度の画像データ、又は画像識別情報のみを入手することができる。
【００４７】
（実施形態９）
本実施形態は、検索する画像を更に付加情報により検索するものである。
図８は、付加情報判定手段を備えた画像検索装置のブロック構成図であり、図中、付加情報判定手段３２は、リクエスト受信手段２１が画像又は画像識別情報又はパラメータと共に付加情報を受信すると、この付加情報は、画像等と共に画像検索手段２５に渡される。付加情報として、画像蓄積装置４０内で検索対象としたいフォルダ情報、画像データの所有者情報、タイトルなどの書誌情報、画像蓄積装置へのアクセス権等などがある。このとき、特徴量蓄積手段２４は、特徴量及び画像識別情報の他に前記付加情報を蓄積している。画像検索装置２５は、画像又は画像識別情報を検索し、検索結果をその付加情報と共に付加情報判定手段３１に渡すと、付加情報判定手段３１は、検索結果の画像又は画像データ又は画像識別情報が更に付加情報を満足するか否かを判定する。満足した画像データ又は画像識別情報が画像取得手段２６に渡され、最終的には、付加情報を満足する画像データ又は画像識別情報が送信される。
【００４８】
実施形態９の変形例として、特徴量蓄積手段２４には特徴量と識別情報のみを登録し、画像検索手段２５とレスポンス送信手段２２の間に不図示の絞り込み手段を設ける。絞り込み手段は、検索した特徴量の識別情報から画像蓄積装置４０に問い合わせを行い、当該画像の属するフォルダ、画像の作成者等の付加情報を取得して、これがリクエスト受信手段２１が受信した付加情報に合致する場合には当該画像データ又は画像識別情報をレスポンス送信手段２２に渡す。
【００４９】
本実施形態によれば、検索件数が膨大になる場合でも一定以下の件数に制限することができる。
【００５０】
以上述べた実施形態５乃至９の検索手法は、それぞれ単独で、或いは適当な組合せにより、実施形態１乃至４の各検索手法に追加して検索を行うことができる。
【００５１】
次の実施形態１０乃至１２は、実施形態１乃至４の各検索手法に、実施形態５乃至９の検索手法が、それぞれ単独で、或いは適当な組合せにより追加されて実施される場合に、ネットワークに接続される画像蓄積装置が複数あることを前提とするものである。
【００５２】
（実施形態１０）
本実施形態は、ネットワークに接続される画像蓄積装置が複数ある場合において、画像蓄積装置を特定して画像検索を行う。
このため特徴量蓄積手段２４は、複数の画像蓄積装置の全ての画像の特徴量並びに画像識別情報と共に画像蓄積装置の識別情報（以下、蓄積装置識別情報という。）を一括して蓄積している。即ち、特徴量蓄積手段２４は１つである。
リクエスト受信手段２１は、画像又は画像識別情報又はパラメータに加え、特徴量取得元の画像蓄積装置４０の識別情報（蓄積装置識別情報）を受信する。実施形態１で説明すると、特徴量算出手段２３は受信した画像の特徴量を算出し、その画像識別情報及び画像蓄積識別情報と共に画像検索装置２５に渡す。画像検索装置２５は、特徴量蓄積手段にアクセスして、この特徴量に類似する特徴量を検索し、結果として、類似する特徴量及びその画像識別情報及び画像蓄積識別情報を取得する。その後実施形態１で説明した処理により、画像蓄積装置が特定された画像又は画像識別情報を得ることができる。なお、画像蓄積装置を特定するために、特定の画像識別情報の画像データのみを通過可能にする絞り込み手段を設けることができる。
【００５３】
本実施形態によれば、例えば各所に分かれて存在する事業所にある画像記憶装置を総合的に検索することができる。
【００５４】
（実施形態１１）
本実施形態は、実施形態１０の変形であり、特徴量蓄積手段２４を複数の画像蓄積装置のそれぞれに対応して設ける。即ち、特徴量蓄積手段２４は複数である。
検索手法は、実施形態１０で述べたものと同じであるが、受信した画像蓄積装置の画像識別情報に基いて対応する特徴量蓄積手段２４にアクセスして検索することになる。
【００５５】
本実施形態によれば、ユーザーは、例えば各所に分かれて存在する事業所の画像記憶装置について、各事業所の画像記憶装置ごとに検索することができる。
【００５６】
（実施形態１２）
本実施形態は、更に実施形態１１の拡張であり、複数の特徴量蓄積手段を検索して得られた類似する特徴量及びその画像識別情報を類似度の順に整列して出力するようにする。
【００５７】
本実施形態によれば、ユーザーは、例えば各所に分かれて存在する事業所の全ての画像記憶装置について検索結果を整列して受取ることができる。
【００５８】
以上、画像検索装置における画像検索について述べたが、次に画像検索を行うために必要となる特徴量の登録について説明する。
【００５９】
（実施形態１３）
本実施形態は、登録リクエストとして画像を受信し、特徴量の登録を行うものである。
図９は、特徴量登録手段を備えた画像検索装置のブロック構成図であり、図２と同じ機能を有する手段には図２と同じ参照番号を付し、その動作の説明は省略する。
図９において、４１は特徴量登録手段であり、算出された特徴量を特徴量蓄積手段２４に書き込みを行う。
いまリクエスト受信手段２１は、クライアントパソコン３０から画像、この画像を一意に識別可能な識別情報（画像識別情報）、オプションとしてファイル名、画像データが蓄積されている場所等の付加情報がある場合には、これを含めて受信する。
受信された画像等は、特徴量算出手段２３に渡され、特徴量算出手段２３にて特徴量が算出され、特徴量登録手段４１により前記画像識別情報と共に特徴量蓄積手段２４に書き込み、登録する。レスポンス送信手段２２は、登録が終了したことを通知する。
【００６０】
本実施形態によれば、クライアントパソコン３０は、画像蓄積装置４０の画像データについて登録済みの確認を行いながら特徴量の登録を行うことができる。
【００６１】
（実施形態１４）
本実施形態は、登録リクエストとして画像識別情報を受信し、特徴量の登録を行うものである。
リクエスト受信手段２１は、登録リクエストとして画像識別情報を受信する。画像取得手段２６は、画像蓄積装置４０にアクセスして受信した画像識別情報の画像データを取得して特徴量算出手段２３に渡す。以後、実施形態１３で述べたのと同じ処理が行われ、特徴量が登録される。
【００６２】
本実施形態によれば、クライアントパソコン３０と画像蓄積装置４０との間で直接画像データの受け渡しが生じないため、画像データの登録が高速になり、また、画像蓄積装置４０で画像データと画像識別情報の整合性が確実になる。
【００６３】
（実施形態１５）
本実施形態は、実施形態１０の検索手法に対応する登録手法であり、特徴量を１つの特徴量蓄積手段２４に登録するものである。
登録リクエストの受信から登録までの処理は、実施形態１３及び１４で説明した処理と同じである。
【００６４】
本実施形態によれば、例えば各所に分かれて存在する事業所にある画像記憶装置の画像データを総合的に登録することができる。
【００６５】
（実施形態１６）
本実施形態は、実施形態１１及び１２の検索手法に対応する登録手法であり、特徴量を複数の特徴量蓄積手段２４に登録するものである。
特徴量蓄積手段２４は、複数の画像蓄積装置のそれぞれに対応して設けられているので、リクエスト受信手段が画像、又は画像識別情報を、これらが蓄積されている画像蓄積装置の蓄積装置識別情報と共に受信すると、前記画像、又は画像識別情報に係る画像データは特徴量算出手段２３に渡され、特徴量が算出された後、この特徴量は該当するそれぞれの特徴量蓄積手段２４に登録される。
【００６６】
本実施形態によれば、例えば各所に分かれて存在する各事業所の画像記憶装置に対応する特徴量蓄積手段に登録することができる。
【００６７】
前記各実施形態の説明において、ネットワークに接続された画像蓄積装置４０は、画像データの他に、文書データで表現された画像及びそれらのサムネールを蓄積している。当然に、各種文書作成ソフト、表計算ソフトで作成した文書データを蓄積することもある。
次に、文書データで表現された画像の特徴量の登録について説明する。
（実施形態１７）
本実施形態は、文書データで表現された画像の特徴量を登録するものである。
リクエスト受信手段２１は、特徴量の登録のために画像識別情報を受信すると、これを画像取得手段２６に渡し、画像取得手段２６は画像蓄積装置４０から画像データの取得を試みる。この時、画像蓄積手段４０上では当該画像がワードプロセッサ等の文書データで表現されている場合も含める。また画像蓄積手段４０は、文書データの印刷イメージに相当する画像データを生成するか、予めそれを蓄積しており、リクエストに応じて画像取得手段２６に提供することができる構成になっている。
また画像蓄積手段４０は、データと共にその形式を、例えばＭＩＭＥ（Ｍｕｌｔｉｐｕｒｐｏｓｅ　Ｉｎｔｅｒｎｅｔ　Ｍａｉｌ　Ｅｘｔｅｎｓｉｏｎｓ）のＣｏｎｔｅｎｔ−Ｔｙｐｅとして記憶しており、要求に応じて識別情報に対応したデータの形式を回答する機能を有している。画像取得手段２６は、まず識別情報に対応するデータの形式（Ｃｏｎｔｅｎｔ−Ｔｙｐｅ）が画像データ（ｉｍａｇｅ／ｊｐｅｇ，　ｉｍａｇｅ／ｔｉｆｆ　ｉｍａｇｅ／ｇｉｆ等）かどうかを調べ、画像データであればそのまま取得を行う。文書データで表現されている場合には、画像取得手段２６は、当該文書データの印刷イメージに相当する画像データを画像蓄積手段４０から取得する。その結果、それを特徴量算出手段２２に渡し特徴量を算出する。特徴量算出後の特徴量の登録処理は、前記実施形態１３乃至１６のいずれかによる。
【００６８】
本実施形態によれば、画像が文書データで表現された場合であっても特徴量の登録をすることができる。
【００６９】
以上、ネットワークに接続可能な画像検索装置における画像の検索の際に、識別情報が付与された検索要求画像を受信し、受信した検索要求画像の特徴量を算出し、検索対象画像の特徴量及びその識別情報を蓄積した蓄積装置にアクセスし、算出した検索要求画像の特徴量と前記蓄積した検索対象画像の特徴量を参照して、類似する特徴量及びその識別情報を検索し、この識別情報に基き、画像検索装置の外部に接続された検索対象画像データ蓄積装置から、類似する特徴量の画像又は画像データを読み出し、類似する特徴量の画像又は画像データ又はそれらの画像識別情報を送信する処理手順について説明したが、この処理の手順を実行するために、コンピュータに命令する手順を周知のプログラム言語で記述し、プログラムを作成する。そして、このプログラムをＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク等の周知のコンピュータ読み取り可能な記録媒体に記録する。従って、画像検索装置のコンピュータに前記記録媒体から直接、又はインターネット、ＬＡＮ等の電気通信回線を介してプログラムをダウンロードすることで、以上述べた検索処理を自動的に行うことができる。
【００７０】
【発明の効果】
請求項１乃至４に対応する効果：ネットワークを介して離れた場所に設置されたクライアントパソコンからの画像の検索要求に応えて画像を検索し、検索結果を送信することができる。このとき、画像蓄積装置から画像データを読み出し、それをそのまま送信したり識別情報の形で送信するので、ユーザーは送信結果を自分の好みに合わせて利用することができる。また、検索効率がよくなり、ユーザーは目的とする画像データを容易に入手することができる。
請求項５，６に対応する効果：画像情報を蓄積する画像蓄積装置がネットワーク上に複数存在するとき、検索効率がよくなり、検索の利便性がよくなる。
請求項７乃至９に対応する効果：請求項１乃至６に対する効果を奏する検索を行うための画像データの登録ができる。
請求項１０に対応する効果：画像検索装置のコンピュータにおいて、本発明に係る画像の検索処理を容易に実施することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像検索システムを示す図である。
【図２】本発明の実施形態に係る画像検索装置の構成を示すブロック図である。
【図３】本発明の実施形態に係る画像検索処理のフロー図である。
【図４】整列手段を備えた画像検索装置のブロック構成図である。
【図５】類似度付加手段を備えた画像検索装置のブロック構成図である。
【図６】最大個数設定手段を備えた画像検索装置のブロック構成図である。
【図７】類似度範囲設定手段を備えた画像検索装置のブロック構成図である。
【図８】付加情報判定手段を備えた画像検索装置のブロック構成図である。
【図９】特徴量登録手段を備えた画像検索装置のブロック構成図である。
【符号の説明】
２１・…リクエスト受信手段　　　２２・…レスポンス送信手段
２３・…特徴量算出手段　　　　２４・…特徴量蓄積手段
２５・…画像検索手段　　　　　２６・…画像取得手段
【図１】
2004139210.tif 000003
【図２】
2004139210.tif 000004
【図３】
2004139210.tif 000005
【図４】
2004139210.tif 000006
【図５】
2004139210.tif 000007
【図６】
2004139210.tif 000008
【図７】
2004139210.tif 000009
【図８】
2004139210.tif 000010
【図９】
2004139210.tif 000011
【手続補正書】
【提出日】平成14年10月18日(2002.10.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
はじめに本発明が適用される画像検索システムの概要について説明する。
図１は、本発明の実施形態に係る画像検索システムを示す図であり、図中、ＬＡＮ、インターネット等の電気通信回線（以下、ネットワークという。）５０に本発明の実施形態に係る画像検索装置１０、クライアントパソコン３０、及び画像蓄積装置４０が接続され、画像検索システムが構成される。
前記画像検索システムにおいて、画像検索装置１０はネットワーク５０を経由してクライアントパソコン３０から画像検索のリクエストを受信し、リクエストに指定された条件に従って画像検索を行い、画像蓄積装置４０にアクセスして検索結果情報を取得し、この情報をリクエストの発信元であるクライアントパソコン３０に送信する。或いは、画像検索装置１０はネットワーク５０を経由してクライアントパソコン３０から画像検索のために特徴量を特徴量蓄積装置に登録するためのリクエストを受信し、リクエストに指定された条件に従って特徴量を登録する。