(57)【要約】【課題】画像に付随する情報の管理形態によらず、複合的に画像を検索できる画像形成装置を提供する。【解決手段】画像検索装置１００は、クライアントパソコン４００から画像検索要求信号をネットワーク５を介して受信し、受信した画像検索要求信号に基づいて、画像情報を蓄積している画像蓄積装置２００の画像情報に対応付けられた付随情報を管理する複数の付随情報管理装置３００ａおよび３００ｂから選択して、ネットワーク５経由で画像検索指示情報を送信し、画像検索指示情報に基づいて付随情報管理装置３００ａに照合させて照合結果を識別情報として受信し、受信した識別情報に対応する画像特徴量の中から検索キーとなる画像に近いものを検索し、検索結果を識別情報でクライアントパソコン４００に送信する。【選択図】        図１
2006228187.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに接続されたクライアント端末から画像検索を要求する画像検索要求信号を前記ネットワークを介して受信し、前記ネットワークに接続された画像蓄積装置が蓄積する画像の識別情報および前記画像に付随する付随情報を管理する前記ネットワークに接続された複数の付随情報管理装置に対して、前記ネットワークを介して前記付随情報を照合させ該照合結果を受信して画像検索する画像検索装置において、
前記クライアント端末との間で、画像の所在情報を含んで前記画像に一意に対応付けられる前記識別情報および前記付随情報を含む前記画像検索要求信号を受信し、前記識別情報を送信し、かつ、前記付随情報管理装置との間で前記付随情報を送信し、前記識別情報を受信する通信手段と、
画像の画像特徴量を算出する特徴量算出手段と、
前記特徴量算出手段が算出する画像の画像特徴量、および前記画像に識別情報が付加されている場合は当該識別情報を対応付けて格納する画像特徴量格納手段と、
前記通信手段が受信する前記画像検索要求信号に基づいて、複数の前記付随情報管理装置の中からいずれかを選択する付随情報管理装置選択手段と、
前記通信手段が受信する前記画像検索要求信号が検索キーとなる画像の識別情報を含む場合、受信する該キーとなる識別情報に対応する付随情報を、前記付随情報管理装置選択手段によって選択された付随情報管理装置に対して送信させ、当該付随情報管理装置が格納する付随情報と照合させて照合した付随情報に対応する識別情報を送信させて前記通信手段を介して受信し、受信した識別情報に対応して前記画像特徴量格納手段に格納されている画像特徴量の中から、前記画像特徴量格納手段に格納されている当該キー画像の識別情報に対応する画像特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報を、前記クライアント端末に送信させる画像検索手段と、
を備えることを特徴とする画像検索装置。
【請求項２】
前記画像検索手段は、受信する前記画像検索要求信号が検索キーとなる画像情報を含む場合、受信した当該キーとなる画像情報に対応する付随情報を、前記付随情報管理装置選択手段によって選択された付随情報管理装置に対して送信させ、前記付随情報管理装置が格納する付随情報と照合させて照合した付随情報に対応する識別情報を前記通信手段を介して送信させて受信し、受信した識別情報に対応して前記画像特徴量格納手段に格納されている画像特徴量の中から、前記画像特徴量算出手段により算出された当該キー画像の画像特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報を、前記クライアント端末に送信させるものであることを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記画像検索手段は、画像の画像特徴量を前記画像特徴量格納手段に格納する場合、前記画像に一意に対応する識別情報をキーとして前記付随情報管理装置に登録する登録命令情報を生成し、
前記画像検索手段は、前記付随情報管理装置が照合する付随情報に関する照合結果を、対応する識別情報の集合として前記付随情報管理装置から受け取る受取命令情報を生成して前記通信手段に送信させ前記識別情報群を受信して照合し、
前記画像検索手段は、前記画像特徴量格納手段が前記画像の特徴量および識別情報を削除する場合、前記識別情報に基づいて削除する削除命令情報を生成するものであることを特徴とする請求項１または２に記載の画像検索装置。
【請求項４】
前記画像検索手段は、前記付随情報管理装置に対し、任意の個数の命令情報の実行をまとめて実行もしくは中断することのできるトランザクションの開始、終了を要求するトランザクション要求情報を生成するものであることを特徴とする請求項１〜３のいずれか１つに記載の画像検索装置。
【請求項５】
前記画像検索手段は、前記付随情報管理装置に対して、前記検索指示情報における検索条件を、前記複数の付随情報管理装置に関わらず、同一の書式で記述して画像検索させるものであることを特徴とする請求項１〜４のいずれか１つに記載の画像検索装置。
【請求項６】
前記画像検索手段は、前記クライアント端末から送信された画像との類似度に基づく検索と、前記付随情報管理装置から送信された画像の付随情報検索指示情報に基づく検索とのいずれかのみによって検索された画像に対応する識別情報、および前記検索された画像の識別情報に対応する付随情報を取得するものであることを特徴とする請求項１〜５のいずれか１つに記載の画像検索装置。
【請求項７】
前記画像検索手段は、前記クライアント端末から前記付随情報管理装置への処理を要求する処理要求情報を中継するものであることを特徴とする請求項１〜６のいずれか１つに記載の画像検索装置。
【請求項８】
ネットワークに接続されたクライアント端末と、前記ネットワークに接続された画像蓄積装置と、前記ネットワークに接続された複数の付随情報管理装置と、前記ネットワークに接続された画像検索装置と、を備えた画像検索システムの画像検索方法において、
前記クライアント端末が、画像に付加される付随情報を含んで画像検索を要求する画像検索要求信号を前記ネットワークを介して前記画像検索装置に送信する検索要求工程と、
前記画像蓄積装置の蓄積する画像に一意に対応付けられる所在情報を含む識別情報および前記画像に付随する付随情報を管理し、前記付随情報を前記画像検索装置から受信した場合、格納する付随情報と照合して照合された付随情報に対応する識別情報を送信する照合工程と、
特徴量算出手段によって算出する画像の特徴量を算出する特徴量算出工程と、
前記特徴量算出工程で算出された画像の画像特徴量、および前記画像に識別情報が付加されている場合は当該識別情報を対応付けて格納する画像特徴量格納工程と、
前記クライアント端末から受信する前記画像検索要求信号に基づいて、複数の前記付随情報管理装置の中からいずれかを選択する付随情報管理装置選択工程と、
前記検索要求工程で前記画像検索装置に送信する前記画像検索要求信号が検索キーとなる画像の識別情報を含む場合、受信する該識別情報に対応する付随情報を、前記付随情報管理装置選択工程で選択された付随情報管理装置に対して送信させて、前記照合工程で照合されて送信された識別情報に対応して前記画像特徴量格納工程で格納されている画像特徴量を取得し、取得された画像特徴量に対応する画像の識別情報を、当該キー画像の識別情報に対応して前記画像特徴量格納工程で格納されている画像特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報を、前記クライアント端末に送信させる画像検索工程と、
を含むことを特徴とする画像検索方法。
【請求項９】
前記画像検索工程は、前記検索要求工程で前記像検索装置に送信する前記画像検索要求信号が検索キーとなる画像情報を含む場合、
受信した当該キーとなる画像情報に対応する付随情報を、前記付随情報管理装置選択工程で選択された付随情報管理装置に対して送信させて、前記照合工程で照合させ照合した付随情報に対応する識別情報を受信し、受信した識別情報に対応して前記画像特徴量格納手段に格納されている画像特徴量の中から、前記画像特徴量算出工程で算出した当該キー画像の画像特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報を、前記クライアント端末に送信させるものであることを特徴とする請求項８に記載の画像検索方法。
【請求項１０】
請求項８または９に記載の画像検索方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
ネットワークに接続されたクライアント端末と、前記ネットワークに接続されて画像を蓄積する画像蓄積装置と、前記ネットワークに接続された複数の付随情報管理装置と、前記ネットワークに接続された画像検索装置と、を備えた画像検索システムにおいて、
前記クライアント端末は、画像に付加される付随情報を含み、画像検索を要求する画像検索要求信号を前記ネットワークを介して画像検索装置に送信し、
前記付随情報管理装置は、前記画像蓄積装置が蓄積する画像に一意に対応付けられる所在情報を含む識別情報および前記画像に付随する付随情報を管理し、前記付随情報を前記画像検索装置から受信した場合、格納する付随情報と照合して照合された付随情報の識別情報を送信し、
前記画像検索装置は、
前記クライアント端末および前記付随情報管理装置の間で、少なくとも前記付随情報を含む情報を送受信する通信手段と、
画像の画像特徴量を算出する特徴量算出手段と、
前記特徴量算出手段が算出する画像の画像特徴量、および前記画像に識別情報が付加されている場合は当該識別情報を対応付けて格納する画像特徴量格納手段と、
前記通信手段が前記クライアント端末から受信する前記画像検索要求信号に基づいて、複数の前記付随情報管理装置の中からいずれかを選択する付随情報管理装置選択手段と、
前記通信手段が受信する前記画像検索要求信号が検索キーとなる画像の識別情報を含む場合、受信する該キーとなる識別情報に対応する付随情報を、前記付随情報管理装置選択手段によって選択された付随情報管理装置に対して送信させ、当該付随情報管理装置が格納する付随情報と照合させて照合した付随情報に対応する識別情報を送信させて前記通信手段を介して受信し、受信した当該識別情報に対応して前記画像特徴量格納手段に格納されている画像特徴量の中から、前記画像特徴量格納手段に格納されている当該キー画像の識別情報に対応する画像特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報を、前記クライアント端末に送信させる画像検索手段と、
を備えることを特徴とする画像検索システム。
【請求項１２】
前記画像検索手段は、前記通信手段が受信する前記画像検索要求信号が検索キーとなる画像情報を含む場合、受信した当該キーとなる画像情報に対応する付随情報を、前記付随情報管理装置選択手段によって選択された付随情報管理装置に対して送信させ、前記付随情報管理装置が格納する付随情報と照合させて照合した付随情報に対応する識別情報を前記通信手段を介して送信させて受信し、受信した識別情報に対応して前記画像特徴量格納手段に格納されている画像特徴量の中から、前記画像特徴量算出手段により算出された当該キー画像の画像特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報を、前記クライアント端末に送信させるものであることを特徴とする請求項１１に記載の画像検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置、画像検索方法、その方法をコンピュータに実行させるプログラム、および画像検索システムに関し、特に、画像の類似性およびその付随する情報を利用して所望の画像を検索する画像検索装置、画像検索方法、その方法をコンピュータに実行させるプログラム、および画像検索システムに関する。
【背景技術】
【０００２】
コンピュータの発達とともに文書が電子形式で取扱われるようになってきたため、文書管理の問題はペーパー形式の文書の時代に比べると飛躍的に容易になった。それでも管理対象となる文書の数が増加すると、従来の階層化構造を利用する管理システムでは文書解析及び検索面で解決すべき問題を残している。特に画像情報または画像情報を含む文書の管理には解決すべき問題が多い。
【０００３】
例えば、ネットワークを通して相互に接続されたクライアントコンピュータとサーバコンピュータ間で、複数の画像データを蓄積した画像データベースから所望の画像データを検索しようとする場合に、クライアントコンピュータ（ユーザー）は検索したい画像の特徴量を計算し、計算した画像特徴量をサーバコンピュータに送り、サーバコンピュータは複数の画像データそれぞれおよびそれぞれの画像データの画像特徴量を関連付けて記憶して、クライアントコンピュータから画像特徴量が送信される場合、記憶している画像特徴量と送信された画像特徴量とに基づいて類似度を計算し、計算された類似度によって画像を検索し、検索された画像データをクライアントコンピュータに送信する技術が考え出されている（特許文献１参照）。
【０００４】
【特許文献１】特開２０００−７６２７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された発明は画像につけられたタイトルやキーワードといった非画像情報の検索を行うことができないという問題があった。また、画像に関連する非画像情報はリレーショナルデータベースなどの形態ですでに管理されている場合が多く、改めて画像検索装置の導入によって管理形態を変更することが困難な場合が多い。
【０００６】
本発明は上記の問題に鑑みてなされ、その目的は、画像に付随する情報の管理形態によらず、複合的に画像を検索できる技術の開発である。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、ネットワークに接続されたクライアント端末から画像検索を要求する画像検索要求信号を前記ネットワークを介して受信し、前記ネットワークに接続された画像蓄積装置が蓄積する画像の識別情報および前記画像に付随する付随情報を管理する前記ネットワークに接続された複数の付随情報管理装置に対して、前記ネットワークを介して前記付随情報を照合させ該照合結果を受信して画像検索する画像検索装置において、前記クライアント端末との間で、画像の所在情報を含んで前記画像に一意に対応付けられる前記識別情報および前記付随情報を含む前記画像検索要求信号を受信し、前記識別情報を送信し、かつ、前記付随情報管理装置との間で前記付随情報を送信し、前記識別情報を受信する通信手段と、画像の画像特徴量を算出する特徴量算出手段と、前記特徴量算出手段が算出する画像の画像特徴量、および前記画像に識別情報が付加されている場合は当該識別情報を対応付けて格納する画像特徴量格納手段と、前記通信手段が受信する前記画像検索要求信号に基づいて、複数の前記付随情報管理装置の中からいずれかを選択する付随情報管理装置選択手段と、前記通信手段が受信する前記画像検索要求信号が検索キーとなる画像の識別情報を含む場合、受信する該キーとなる識別情報に対応する付随情報を、前記付随情報管理装置選択手段によって選択された付随情報管理装置に対して送信させ、当該付随情報管理装置が格納する付随情報と照合させて照合した付随情報に対応する識別情報を送信させて前記通信手段を介して受信し、受信した識別情報に対応して前記画像特徴量格納手段に格納されている画像特徴量の中から、前記画像特徴量格納手段に格納されている当該キー画像の識別情報に対応する画像特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報を、前記クライアント端末に送信させる画像検索手段と、を備えることを特徴とする。
【０００８】
請求項２にかかる発明は、請求項１に記載の画像検索装置において、前記画像検索手段は、受信する前記画像検索要求信号が検索キーとなる画像情報を含む場合、受信した当該キーとなる画像情報に対応する付随情報を、前記付随情報管理装置選択手段によって選択された付随情報管理装置に対して送信させ、前記付随情報管理装置が格納する付随情報と照合させて照合した付随情報に対応する識別情報を前記通信手段を介して送信させて受信し、受信した識別情報に対応して前記画像特徴量格納手段に格納されている画像特徴量の中から、前記画像特徴量算出手段により算出された当該キー画像の画像特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報を、前記クライアント端末に送信させるものであることを特徴とする。
【０００９】
請求項３にかかる発明は、請求項１または２に記載の画像検索装置において、前記画像検索手段は、画像の画像特徴量を前記画像特徴量格納手段に格納する場合、前記画像に一意に対応する識別情報をキーとして前記付随情報管理装置に登録する登録命令情報を生成し、前記画像検索手段は、前記付随情報管理装置が照合する付随情報に関する照合結果を、対応する識別情報の集合として前記付随情報管理装置から受け取る受取命令情報を生成して前記通信手段に送信させ前記識別情報群を受信して照合し、前記画像検索手段は、前記画像特徴量格納手段が前記画像の特徴量および識別情報を削除する場合、前記識別情報に基づいて削除する削除命令情報を生成するものであることを特徴とする。
【００１０】
請求項４にかかる発明は、請求項１〜３のいずれか１つに記載の画像検索装置において、前記画像検索手段は、前記付随情報管理装置に対し、任意の個数の命令情報の実行をまとめて実行もしくは中断することのできるトランザクションの開始、終了を要求するトランザクション要求情報を生成するものであることを特徴とする。
【００１１】
請求項５にかかる発明は、請求項１〜４のいずれか１つに記載の画像検索装置において、前記画像検索手段は、前記付随情報管理装置に対して、前記検索指示情報における検索条件を、前記複数の付随情報管理装置に関わらず、同一の書式で記述して画像検索させるものであることを特徴とする。
【００１２】
請求項６にかかる発明は、請求項１〜５のいずれか１つに記載の画像検索装置において、前記画像検索手段は、前記クライアント端末から送信された画像との類似度に基づく検索と、前記付随情報管理装置から送信された画像の付随情報検索指示情報に基づく検索とのいずれかのみによって検索された画像に対応する識別情報、および前記検索された画像の識別情報に対応する付随情報を取得するものであることを特徴とする。
【００１３】
請求項７にかかる発明は、請求項１〜６のいずれか１つに記載の画像検索装置において、前記画像検索手段は、前記クライアント端末から前記付随情報管理装置への処理を要求する処理要求情報を中継するものであることを特徴とする。
【００１４】
請求項８にかかる発明は、ネットワークに接続されたクライアント端末と、前記ネットワークに接続された画像蓄積装置と、前記ネットワークに接続された複数の付随情報管理装置と、前記ネットワークに接続された画像検索装置と、を備えた画像検索システムの画像検索方法において、前記クライアント端末が、画像に付加される付随情報を含んで画像検索を要求する画像検索要求信号を前記ネットワークを介して前記画像検索装置に送信する検索要求工程と、前記画像蓄積装置の蓄積する画像に一意に対応付けられる所在情報を含む識別情報および前記画像に付随する付随情報を管理し、前記付随情報を前記画像検索装置から受信した場合、格納する付随情報と照合して照合された付随情報に対応する識別情報を送信する照合工程と、特徴量算出手段によって算出する画像の特徴量を算出する特徴量算出工程と、前記特徴量算出工程で算出された画像の画像特徴量、および前記画像に識別情報が付加されている場合は当該識別情報を対応付けて格納する画像特徴量格納工程と、前記クライアント端末から受信する前記画像検索要求信号に基づいて、複数の前記付随情報管理装置の中からいずれかを選択する付随情報管理装置選択工程と、前記検索要求工程で前記画像検索装置に送信する前記画像検索要求信号が検索キーとなる画像の識別情報を含む場合、受信する該識別情報に対応する付随情報を、前記付随情報管理装置選択工程で選択された付随情報管理装置に対して送信させて、前記照合工程で照合されて送信された識別情報に対応して前記画像特徴量格納工程で格納されている画像特徴量を取得し、取得された画像特徴量に対応する画像の識別情報を、当該キー画像の識別情報に対応して前記画像特徴量格納工程で格納されている画像特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報を、前記クライアント端末に送信させる画像検索工程と、を含むことを特徴とする。
【００１５】
請求項９にかかる発明は、請求項８に記載の画像検索方法において、前記画像検索工程は、前記検索要求工程で前記像検索装置に送信する前記画像検索要求信号が検索キーとなる画像情報を含む場合、受信した当該キーとなる画像情報に対応する付随情報を、前記付随情報管理装置選択工程で選択された付随情報管理装置に対して送信させて、前記照合工程で照合させ照合した付随情報に対応する識別情報を受信し、受信した識別情報に対応して前記画像特徴量格納手段に格納されている画像特徴量の中から、前記画像特徴量算出工程で算出した当該キー画像の画像特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報を、前記クライアント端末に送信させるものであることを特徴とする。
【００１６】
請求項１０にかかる発明は、プログラムにおいて、請求項８または９に記載の画像検索方法をコンピュータに実行させることを特徴とする。
【００１７】
請求項１１にかかる発明は、ネットワークに接続されたクライアント端末と、前記ネットワークに接続されて画像を蓄積する画像蓄積装置と、前記ネットワークに接続された複数の付随情報管理装置と、前記ネットワークに接続された画像検索装置と、を備えた画像検索システムにおいて、前記クライアント端末は、画像に付加される付随情報を含み、画像検索を要求する画像検索要求信号を前記ネットワークを介して画像検索装置に送信し、前記付随情報管理装置は、前記画像蓄積装置が蓄積する画像に一意に対応付けられる所在情報を含む識別情報および前記画像に付随する付随情報を管理し、前記付随情報を前記画像検索装置から受信した場合、格納する付随情報と照合して照合された付随情報の識別情報を送信し、前記画像検索装置は、前記クライアント端末および前記付随情報管理装置の間で、少なくとも前記付随情報を含む情報を送受信する通信手段と、画像の画像特徴量を算出する特徴量算出手段と、前記特徴量算出手段が算出する画像の画像特徴量、および前記画像に識別情報が付加されている場合は当該識別情報を対応付けて格納する画像特徴量格納手段と、前記通信手段が前記クライアント端末から受信する前記画像検索要求信号に基づいて、複数の前記付随情報管理装置の中からいずれかを選択する付随情報管理装置選択手段と、前記通信手段が受信する前記画像検索要求信号が検索キーとなる画像の識別情報を含む場合、受信する該キーとなる識別情報に対応する付随情報を、前記付随情報管理装置選択手段によって選択された付随情報管理装置に対して送信させ、当該付随情報管理装置が格納する付随情報と照合させて照合した付随情報に対応する識別情報を送信させて前記通信手段を介して受信し、受信した当該識別情報に対応して前記画像特徴量格納手段に格納されている画像特徴量の中から、前記画像特徴量格納手段に格納されている当該キー画像の識別情報に対応する画像特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報を、前記クライアント端末に送信させる画像検索手段と、を備えることを特徴とする。
【００１８】
請求項１２にかかる発明は、請求項１１に記載の画像検索システムにおいて、前記画像検索手段は、前記通信手段が受信する前記画像検索要求信号が検索キーとなる画像情報を含む場合、受信した当該キーとなる画像情報に対応する付随情報を、前記付随情報管理装置選択手段によって選択された付随情報管理装置に対して送信させ、前記付随情報管理装置が格納する付随情報と照合させて照合した付随情報に対応する識別情報を前記通信手段を介して送信させて受信し、受信した識別情報に対応して前記画像特徴量格納手段に格納されている画像特徴量の中から、前記画像特徴量算出手段により算出された当該キー画像の画像特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報を、前記クライアント端末に送信させるものであることを特徴とする。
【発明の効果】
【００１９】
請求項１にかかる発明によれば、それぞれネットワークに接続した画像蓄積装置と、複数の付随情報管理装置と、クライアント端末と、画像検索装置と、を備えた画像検索システムにおける画像検索装置は、クライアント端末から受信する画像検索要求信号に基づいて、複数の付随情報管理装置の中からいずれかを選択し、選択された付随情報管理装置に対して、画像検索要求信号が検索キーとなる画像の識別情報を含む場合、前記画像に付随する付随情報を送信させ、当該付随情報管理装置が格納する付随情報と照合させた付随情報に対応する識別情報を受信し、受信した識別情報に対応して画像特徴量格納手段に格納している画像特徴量の中から近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報をクライアント端末に送信させる。この構成により、クライアント端末からの検索指示命令を受信し、画像の付随情報の管理形態に対応した付随情報管理装置を選択して送信し、画像検索と付随情報検索とを組み合わせた検索が可能になり、また、個々の画像の付随情報を画像と対応付けて管理できる付随情報管理装置を付随情報管理の形態の差異に適応して動的に切り替えることができ、また、検索結果を統合するような基本的な処理命令は、付随情報管理装置を呼び出す画像検索手段に搭載することができるので、少ない開発工数で複合的な検索が可能となる画像検索装置を提供できるという効果を奏する。
【００２０】
また、請求項２にかかる発明によれば、クライアント端末から受信する画像検索要求信号が検索キーとなる画像情報を含む場合、選択した付随情報管理装置に対して、画像情報に対応する付随情報を送信させ、送信されて受信した当該付随情報管理装置に対して受信した該対応する付随情報と格納している付随情報とを照合させて照合した付随情報に対応する識別情報を受信し、受信した識別情報に対応して特徴量算出手段に格納している画像特徴量の中から、当該キー画像の画像特徴量に近い順番に所定数取得して対応する識別情報をクライアント端末に送信させる。この構成により、クライアント端末からの検索指示命令を受信し、画像の付随情報の管理形態に対応した付随情報管理装置を選択して送信し、画像検索と付随情報検索とを組み合わせた検索が可能になり、また、個々の画像の付随情報を画像と対応付けて管理できる付随情報管理装置を付随情報管理の形態の差異に適応して動的に切り替えることができ、また、検索結果を統合するような基本的な処理命令は、付随情報管理装置を呼び出す画像検索手段に搭載することができるので、少ない開発工数で複合的な検索が可能となる画像検索装置を提供できるという効果を奏する。
【００２１】
また、請求項３にかかる発明によれば、ネットワーク上の付随情報管理装置に対して、画像検索手段から行う指示や受け取るデータを最小限な組み合わせに限定することによって、付随情報検索のための各手段が容易に開発できる画像検索装置を提供できるという効果を奏する。
【００２２】
また、請求項４にかかる発明によれば、画像検索手段の登録内容と、ネットワーク上の付随情報管理装置の登録内容との整合性を保ちながら、更新する際に、いずれかにおいて処理に問題が発生した場合にも、処理以前の状態に戻すことによって不整合を防止できる画像検索装置を提供できるという効果を奏する。
【００２３】
また、請求項５にかかる発明によれば、画像検索手段が受け付ける検索条件の書式を統一することによって、ネットワーク上の付随情報管理装置によらず、検索を行うクライアント端末が同一の書式によって入力を受け付けるので、ネットワーク上の付随情報管理装置の管理方式上の差異を意識することなくクライアント端末のユーザが検索要求を行うことができる画像検索装置を提供できるという効果を奏する。
【００２４】
また、請求項６にかかる発明によれば、付随情報管理装置がネットワーク上に存在する場合においても、画像検索のみ利用して従来と同じように純粋に画像の類似性に着目した検索が可能となり、また、画像に付随する付随情報のみを使用して検索を行うことで例えばキーワード検索や階層をたどった一覧などの付随情報の管理形態に応じた検索によって検索画像の情報を取り出すことが可能となる画像検索装置を提供できるという効果を奏する。
【００２５】
また、請求項７にかかる発明によれば、画像検索手段は、付随情報管理装置に対する制御命令をそのまま送信することができ、画像検索装置を利用するクライアント端末は、付随情報管理装置に固有の機能に容易にアクセスすることが可能となるので、画像検索装置に接続するクライアント端末のみで、付随情報管理装置に固有の管理操作等を実行することができる画像検索装置を提供できるという効果を奏する。
【００２６】
また、請求項８にかかる発明によれば、それぞれネットワークに接続した画像蓄積装置と、複数の付随情報管理装置と、クライアント端末と、画像検索装置と、を備えた画像検索システムにおける画像検索方法において、画像検索装置は、クライアント端末から受信する画像検索要求信号に基づいて、複数の付随情報管理装置の中からいずれかを選択し、選択された付随情報管理装置に対して、画像検索要求信号が検索キーとなる画像の識別情報を含む場合、前記画像に付随する付随情報を送信させ、当該付随情報管理装置が格納する付随情報と照合させた付随情報に対応する識別情報を受信し、受信した識別情報に対応して画像特徴量格納手段に格納している画像特徴量の中からキーとなる画像の特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報をクライアント端末に送信させる。この構成によって、クライアント端末の検索指示命令によって、画像の付随情報の管理形態に対応した外部データベース装置を選択して送信して、画像の識別情報と付随情報とを組み合わせた検索が可能になり、また、個々の画像の付随情報を画像と対応付けて管理できる外部データベース装置を付随情報の管理形態の差異に適応して動的に切り替えることができるので、少ない開発工数で複合的な検索が可能となる画像検索方法を提供できるという効果を奏する。
【００２７】
また、請求項９にかかる発明によれば、クライアント端末から受信する画像検索要求信号が検索キーとなる画像情報を含む場合、選択した付随情報管理装置に対して、画像情報に対応する付随情報を送信させ、送信されて受信した当該付随情報管理装置に対して受信した該対応する付随情報と格納している付随情報とを照合させて照合した付随情報に対応する識別情報を受信し、受信した識別情報に対応して特徴量算出手段に格納している画像特徴量の中から、当該キー画像の画像特徴量に近い順番に所定数取得して対応する識別情報をクライアント端末に送信させる。この構成により、クライアント端末からの検索指示命令を受信し、画像の付随情報の管理形態に対応した付随情報管理装置を選択して送信し、画像検索と付随情報検索とを組み合わせた検索が可能になり、また、個々の画像の付随情報を画像と対応付けて管理できる付随情報管理装置を付随情報管理の形態の差異に適応して動的に切り替えることができ、また、検索結果を統合するような基本的な処理命令は、付随情報管理装置を呼び出す画像検索手段に搭載することができるので、少ない開発工数で複合的な検索が可能となる画像検索方法を提供できるという効果を奏する。
【００２８】
また、請求項１０にかかる発明によれば、請求項８または９に記載の画像検索方法をコンピュータに実行させることができる。
【００２９】
また、請求項１１にかかる発明によれば、それぞれネットワークに接続した画像蓄積装置と、複数の付随情報管理装置と、クライアント端末と、画像検索装置と、を備えた画像検索システムにおいて、画像検索装置は、クライアント端末から受信する画像検索要求信号に基づいて、複数の付随情報管理装置の中からいずれかを選択し、選択された付随情報管理装置に対して、画像検索要求信号が検索キーとなる画像の識別情報を含む場合、前記画像に付随する付随情報を送信させ、当該付随情報管理装置が格納する付随情報と照合させた付随情報に対応する識別情報を受信し、受信した識別情報に対応して画像特徴量格納手段に格納している画像特徴量の中から該キー画像の画像特徴量に近い順番に所定数取得し、取得した所定数の画像特徴量に対応する識別情報をクライアント端末に送信させる。この構成によって、クライアント端末の検索指示命令によって、画像の付随情報の管理形態に対応した外部データベース装置を選択して送信して、画像の識別情報と付随情報とを組み合わせた検索が可能になり、また、個々の画像の付随情報を画像と対応付けて管理できる外部データベース装置を付随情報の管理形態の差異に適応して動的に切り替えることができるので、少ない開発工数で複合的な検索が可能となる画像検索システムを提供できるという効果を奏する。
【００３０】
また、請求項１２にかかる発明によれば、クライアント端末から受信する画像検索要求信号が検索キーとなる画像情報を含む場合、選択した付随情報管理装置に対して、画像情報に対応する付随情報を送信させ、送信されて受信した当該付随情報管理装置に対して受信した該対応する付随情報と格納している付随情報とを照合させて照合した付随情報に対応する識別情報を受信し、受信した識別情報に対応して特徴量算出手段に格納している画像特徴量の中から、当該キー画像の画像特徴量に近い順番に所定数取得して対応する識別情報をクライアント端末に送信させる。この構成により、クライアント端末からの検索指示命令を受信し、画像の付随情報の管理形態に対応した付随情報管理装置を選択して送信し、画像検索と付随情報検索とを組み合わせた検索が可能になり、また、個々の画像の付随情報を画像と対応付けて管理できる付随情報管理装置を付随情報管理の形態の差異に適応して動的に切り替えることができ、また、検索結果を統合するような基本的な処理命令は、付随情報管理装置を呼び出す画像検索手段に搭載することができるので、少ない開発工数で複合的な検索が可能となる画像検索システムを提供できるという効果を奏する。
【発明を実施するための最良の形態】
【００３１】
以下に添付図面を参照して、この発明にかかる画像検索装置、画像検索方法、その方法をコンピュータに実行させるプログラム、および画像検索システムの最良な実施の形態を詳細に説明する。
【００３２】
（１．実施の形態１）
（１．１．画像検索装置をネットワーク接続した検索システム）
図１は、実施の形態１によるネットワークに接続された画像検索装置を説明する図である。画像検索装置を備えた画像検索システムは、それぞれネットワーク５で接続された画像検索装置１００、画像蓄積装置２００、付随情報管理装置３００ａおよび３００ｂ、およびクライアントパソコン４００を備える。
【００３３】
画像検索装置１００は、ネットワーク５を介して、他の端末などから所定のプロトコルにより画像登録および画像検索を要求する信号を受信し、画像登録および画像検索の処理結果を、要求信号に対する応答の形で送信する。クライアントパソコン４００は、この画像検索装置１００に対して画像登録および画像検索の要求信号を送信するクライアント端末として動作する。
【００３４】
画像蓄積装置２００は、画像ファイルを格納するネットワーク・ストレージ機能を備える。また、画像蓄積装置２００は、ネットワーク５に接続するＷｅｂ上に格納されている画像ファイルを、ネットワーク５を介してＨＴＴＰ等のプロトコルを用いて取得させるＷｅｂサーバ機能を備えた構成とすることもできる。
【００３５】
付随情報管理装置３００ａおよび３００ｂは、画像に付随する文書や画像に関連する文書に付随する情報を格納し、また管理する。付随情報管理装置３００（以下、付随情報管理装置３００ａおよび３００ｂを単体として説明する際には符号３００で代表して説明する）は、所定のプロトコルを用いてネットワーク５上の他の装置から画像に関する付随情報の登録や参照が行えるように構成されている。
【００３６】
クライアントパソコン４００は、クライアントパソコン４００を操作するユーザによる画像検索要求をマウスやキー入力によって受け付け、また検索する画像あるいは検索画像に類似する画像などを検索結果として表示画面に出力する。クライアントパソコン４００は説明のために図中１つのみが描かれているが、一般的には複数個接続することができる。多数の端末から画像検索する構成とすることができるからである。
【００３７】
クライアントパソコン４００は、また、Ｗｅｂアプリケーションサーバ上で動作するＷｅｂアプリケーションとして構成し、ブラウザを備えた他のクライアントパソコン（不図示）を用いるユーザからのアクセスを受け付け、画面を構成する情報をＨＴＭＬおよび画像データとして送信するように構成することもできる。上記の各装置１００〜４００を接続するネットワーク５は、ローカルエリアネットワーク（ＬＡＮ）、あるいはインターネットによって構成できる。
【００３８】
実施の形態による画像検索装置１００とクライアントパソコン４００との通信で使用される通信方式は、ＳＯＡＰ（Ｓｉｍｐｌｅ  Ｏｂｊｅｃｔ  Ａｃｃｅｓｓ  Ｐｒｏｔｏｃｏｌ）を利用する。ＳＯＡＰは、Ｗ３Ｃ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ  Ｃｏｎｓｏｒｔｉｕｍ）により勧告された規格であり、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）を用いて手続き呼出し及び検索結果を抽象化して記述し、異種システム間の通信結合を可能にする。ＳＯＡＰを利用することによって、画像検索装置１００およびクライアントパソコン４００とが異なるアーキテクチャであっても、共通の遠隔手続き呼出方式で通信できる。
【００３９】
（１．２．画像検索装置）
図２は、実施の形態１による画像検索装置の機能的ブロック図である。画像検索装置１００は、処理要求受信部１１０、結果送信部１１１、画像特徴量算出部１１２、画像特徴量データベース１１３、特徴量登録削除部１１４、画像検索部１１５、付随情報管理装置接続選択部１１６、および付随情報管理装置接続部１１７を備える
【００４０】
画像検索装置１００の処理要求受信部１１０は、例えば８０番などのＨＴＴＰの所定のポートを介して、クライアントパソコン４００からの接続を受け付け、クライアントパソコン４００からのＳＯＡＰリクエスト信号を受信する。
【００４１】
結果送信部１１１は、画像検索部１１５によって画像検索された結果を、ＳＯＡＰレスポンスとしてクライアントパソコン４００に送信する。ＳＯＡＰの代表的な実装ではＨＴＴＰを用いるため、ファイヤーウオールなどで隔てられた社内ネットワーク、およびインターネットを介しても通信が可能である。
【００４２】
なお、実施の形態１ではＳＯＡＰを利用するが、この規格に限定されるものではない。例えば、機械によって判別可能なように書式化された所定の形式による電子メールの送受信を適用してもよい。画像検索の要求信号を送信するクライアントパソコン４００、および画像検索装置１００をネットワーク５によって接続した構成とせずに、同一のコンピュータ上で動作するサーバとして構成することもできる。
【００４３】
画像検索装置１００の基本動作について述べる。画像検索装置１００は、ネットワーク５を介して他の装置との間で情報のやり取りを行う機能を有する。処理要求受信部１１１は、クライアントパソコン４００から送信された検索要求信号を受信する。結果送信部１１２は、画像検索部１１５が検索動作を行った後、クライアントパソコン４００に検索された結果としての画像情報および文書情報を送信する。
【００４４】
画像検索部１１５は、処理要求受信部１１１が受信した画像の特徴量をキーとして、画像特徴量データベース１１３にアクセスし、画像特徴量データベース１１３からキー特徴量に類似する特徴量を検索する。画像特徴量データベースは、画像の特徴量を、当該画像のＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏcａｔｏｒ）と関連づけて格納している。即ちここでは、検索すべき画像の特徴量と類似する画像の特徴量をＵＲＬ情報と関連づけて検索する。
【００４５】
画像検索部１１５が、検索要求を受けた画像に類似する画像について画像特徴量データベース１１３を検索し、検索された画像特徴量の中から検索結果の上位所定数（例えば上位３０件）に対応する画像のＵＲＬを抽出する。結果送信部１１１は、画像検索部１１５が抽出した検索結果情報、即ちここでは特徴量およびＵＲＬ情報を、クライアントパソコン４００に送信する。送信されたＵＲＬ情報を受信したクライアントパソコン４００は、ＵＲＬ情報に基づいて画像蓄積装置２００をはじめとするＷｅｂ上のＷｅｂサーバに自動的にアクセスして画像を取得し、クライアントパソコン４００のモニタに表示する。ユーザは表示された画像を見て検索結果を確認することができる。
【００４６】
画像検索装置１００の結果送信部１１２は、また表示画面をブラウザに表示させるＨＴＭＬデータを送信し、クライアントパソコン４００は、送信されたＨＴＭＬデータを受信してモニタのブラウザ上でＨＴＭＬに指定された書式に従って画像を表示する。クライアントパソコン４００のユーザは表示されたモニタ上で該当する画像を見ることができ、また自ら操作して取得したＵＲＬ情報からＷｅｂ上の画像を取得して表示させることもできる。
【００４７】
画像特徴量算出部１１２は、検索すべき画像として受信する画像の特徴量を算出する。また、画像特徴量算出部１１２は、特徴量に付随するＵＲＬ以外の画像の書誌情報をはじめとする付随情報を画像特徴量データベース１１３に格納できる。この時、特徴量データベース１１３は、付随情報に対して割り振った一意のＩＤによって引き出すことができる形で格納する。
【００４８】
また、結果送信部１１１は、受信した画像に関して付随情報に対して割り振った一意のＩＤによって引き出すことができる形で、ネットワーク５を介して付随情報管理装置３００に、ＩＤおよび付随情報を格納する。
【００４９】
画像特徴量算出部１１２は、画像の特徴量を、例えば、それぞれの色が占める割合や、画像の各部分における色の変化の割合などを数値化した多次元の数値（ベクトル）で表現する形で取得する。画像検索部１１５が、類似する画像の検索を行う際に、画像が複数の色から構成されている場合などの検索時に、このような特徴量を比較することが有効である。
【００５０】
ここでは簡単な特徴量算出の例として、画像を構成する色をいくつかのグループに分け、それぞれのグループに属する色が画像全体に占める割合を特徴量として算出する例を挙げる。ＲＧＢの３プレーン（色空間の平面）から構成される画像では、各ピクセルがそれぞれのプレーンの値を表す数値の組で表される。それぞれのプレーンを、例えば３つの区間に分割すると、各ピクセルは３×３×３＝２７種類のグループのどれかに属することになる。画像全体のピクセル数に占めるそれぞれのグループに属するピクセル数の割合を計算すると、２７個の要素からなるベクトルが得られる。これを特徴量とすることで、画像同士の類似度を表す距離が定義できる。
【００５１】
検索対象とする画像集合からこのようにして、それぞれの画像の特徴量を算出しておく。そして、検索動作のために入力される画像情報に対しても同様にして特徴量を算出し、算出された入力画像情報の特徴量に距離的に近い画像を選択することによって、入力される画像に類似する画像を検索することができる。
【００５２】
ここで、上記のように色空間を分割してベクトル量を算出することによって求める特徴量の例は、説明のための例であり、本発明において適用する特徴量としては、このように定義される特徴量に限定されるものではない。また、複数の特徴量に基づく類似度を一定の重みを乗算して足し合わせる複合的な特徴量を利用することも可能である。
【００５３】
画像検索装置１００の付随情報管理装置接続部１１７は、ネットワーク５を介して複数の付随情報管理装置３００ａおよび３００ｂに接続する部分であり、接続する付随情報管理装置によって異なる機能を有する。付随情報管理装置接続選択部１１６によりいずれの付随情報管理装置接続部を利用するかが選択される。ここで、付随情報管理装置３００ａおよび３００ｂは、ネットワーク上に一般に複数個接続されていて、画像検索装置１００からの検索要求に応じて、付随情報を管理し、また検索あるいは照合して取り出す。図中、付随情報管理装置３００ａおよび３００ｂは、２つの装置として示されているが、２つに限定される物ではなく、多数接続することが可能である。
【００５４】
ここで、付随情報管理装置接続選択部１１６は、付随情報管理装置接続部１１７を適切に選択することによって、ネットワーク５上に接続する付随情報管理装置３００ａおよび３００ｂの中から、必要に応じて切り替えて使用する。ここで、図１で示した付随情報管理装置３００ａおよび３００ｂは２つとは限らず、一般に複数個あるものとする。
【００５５】
ここで、本実施例における付随情報管理装置接続部１１７は、画像検索装置１００の機能を提供するサーバプログラムがＪａｖａ（登録商標）言語によって組まれて、Ｊａｖａ（登録商標）仮想マシン上で動作するよう構成する。Ｊａｖａ（登録商標）にはプログラムの開発段階でなく実行時に、クラスの名前を指定して動的に読み込み、利用できる仕組みがある。
【００５６】
まず、search, insert, deleteの三つのメソッドを持つＪａｖａ（登録商標）のインタフェースであるMetaDataConnector を定義する。それぞれのメソッドの仕様を以下の通りとする。
search:与えた条件に基づいて付随情報管理装置３００内を検索し、検索条件にマッチした画像の識別情報の集合を出力する。
insert:画像の識別情報とこの画像に対応する付随情報を与えて、これらを付随情報管理装置３００内に登録する。
delete:画像の識別情報を与えた場合、与えた識別情報に対応する画像の付随情報を付随情報管理装置３００から削除する。
【００５７】
これらのメソッドは付随情報管理装置接続部１１７に必須の機能に対応している。実際にどのような動作を行ってこれらのメソッドに対応する機能を実行するかは、Ｍｅｔａ  Ｄａｔａ  Ｃｏｎｎｅｃｔｏｒが実際にどのような付随情報管理装置を仮定するかによって決まる。
【００５８】
例えば、付随情報管理装置３００がデータベース問い合わせ言語であるＳＱＬを理解するリレーショナルデータベースサーバである場合には、これらのメソッドは、それぞれ与えられた情報から妥当なＳＱＬ文を作成し、リレーショナルデータベースサーバに送信し、結果を受け取るように実装する。
【００５９】
また、付随情報管理装置３００として、１行に一つの画像に関する識別情報と付随情報が書き込まれた単なるテキストファイルを利用することも考えられる。この場合、上記三つのメソッドはテキストファイル中の検索、挿入、削除を実装することになる。
【００６０】
付随情報管理装置接続部１１７は、付随情報管理装置３００において行われる画像検索に際して、画像検索装置１００が利用するＭｅｔａＤａｔａＣｏｎｎｅｃｔｏｒの実際のクラス名（たとえばＳＱＬＭｅｔａＤａｔａＣｏｎｎｅｃｔｏｒ，ＴｅｘｔＦｉｌｅＭｅｔａＤａｔａＣｏｎｎｅｃｔｏｒなど）を、環境設定情報から読み取り、クラスをメモリにロードして動作を開始する。
【００６１】
付随情報管理装置３００での画像の検索時に付随情報に関する条件が指定されていた場合、画像検索サーバプログラムはメモリにロードされている付随情報管理装置接続部１１７（ＭｅｔａＤａｔａＣｏｎｎｅｃｔｏｒ）のsearchメソッドを実行する。searchメソッドは対応する処理を行い、検索条件に適合した画像の識別情報のリストを出力する。画像検索サーバプログラムはその結果を受け取り、それらの識別情報を持つ画像のみを対象に画像検索を行う。結果として、付随情報に関する検索条件に適合する画像が、検索キーに類似する順に出力される。
【００６２】
付随情報管理装置３００が検索処理を施す手順は、以下のとおりである。付随情報管理装置３００ａおよび３００ｂは、画像に関連した付随情報を管理する装置であり、一般的には各装置によって実行する管理形態や方式が異なる。実施の形態による画像検索装置１００は、これら異なる管理形態や方式によって付随情報を管理している付随情報管理装置３００ａおよび３００ｂであったとしても、付随情報管理装置接続部１１７を経由することで、管理形態等の違いによらず、画像情報等の遣り取りを行うことができる点に特徴がある。
【００６３】
画像検索装置１００は、コンピュータシステム上にサーバプログラムを動作させることで実現できる。サーバプログラムで動作させる処理要求受信部１１０は、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）方式のネットワークを通して、クライアントパソコン４００の接続を待ち受け、クライアントパソコン４００から所定の書式に基づく第一のＸＭＬデータを入力として受け取って解析する。
【００６４】
結果送信部１１１は、画像検索部１１５が画像検索などの指定された処理を実行した後、実行された結果を第二のＸＭＬデータとしてクライアントパソコン４００に送り返す。これを繰り返すことにより画像検索装置１００は、一連の画像検索動作を実行する。
【００６５】
画像検索装置１００の付随情報管理装置接続部１１７は、サーバプログラムに動的に読み込まれて実行されるプログラムであり、画像検索装置１００と外部の付随情報管理装置３００ａおよび３００ｂをネットワーク５を介して接続するものである。付随情報管理装置接続部１１７は、接続する付随情報管理装置３００ａおよび３００ｂの種別によって異なる方式を適用できる。サーバプログラムによって定められた一連の手続き呼び出しを受け付け、対応する付随情報管理装置に接続して処理を行ったのち、所定の形式で結果をサーバプログラムに入力する。サーバプログラムは入力された結果情報を使用して画像検索などの処理を施す。呼び出しおよび結果の形式は、付随情報管理装置の種別によらず一定であり、サーバプログラム上で結果を利用して施される処理も同様の形式で行われる。
【００６６】
付随情報管理装置接続選択部１１６は、画像検索装置１００によるそれぞれの呼び出しに応じて読み込む付随情報管理装置接続部１１７を決定する。読み込まれた付随情報管理装置接続部１１７は対応する付随情報管理装置(ここでは３００ａまたは３００ｂ)に接続して処理を行う。
【００６７】
例えば、付随情報管理装置３００ａは、独立してオペレーティングシステムから実行可能なプログラムであって、定められた実行時引数を認識して動作を行った後、結果を指定されたファイルに出力して終了する。付随情報管理装置接続部１１７として、付随情報管理装置の種別によってプログラムを準備することで、画像検索サーバプログラムを変更することなく処理を施すことができる。
【００６８】
別の例として、サーバプログラムがＪａｖａ（登録商標）仮想マシン上で動作するＪａｖａ（登録商標）プログラムである場合、付随情報管理装置３００ｂはＪａｖａ（登録商標）言語上で動作するインタフェースを実装したクラスオブジェクトで、付随情報管理装置接続選択部１１７は利用するクラスの名称を記録する。そして、起動時または任意に要求された時点で、このクラスオブジェクトをロードして利用する。接続する付随情報管理装置３００ａおよび３００ｂが異なっても、サーバプログラムの変更は不要であり、付随情報管理装置３００ａおよび３００ｂを構成するクラスを装置に合わせて実装し、そのクラス名を付随情報管理装置接続選択部１１７に与えることによって実現できる。
【００６９】
図３は、実施の形態１による画像検索手順を説明するフローチャートである。ここで、画像検索装置１００の画像検索部１１５にはあらかじめ、ネットワーク５に接続して利用可能な付随情報管理装置３００ａおよび３００ｂに関するデータが登録されている。画像検索装置１００は、常に付随情報管理装置３００ａを利用する設定としても良く、また、各付随情報管理装置３００ａおよび３００ｂが格納しているデータベースに特徴量の差異がある場合は、適宜、付随情報管理装置を割り当てている構成としてもよい。
【００７０】
処理要求受信部１１０は、ネットワーク５上のクライアントパソコン４００からＴＣＰ／ＩＰポートを通じてＸＭＬファイルで構造化された画像検索を要求する信号を受け取る（ステップＳ１０１）。このＸＭＬファイルには検索キーとする画像の識別情報（ＵＲＬ、登録ＩＤ）、あるいはキー画像を取得できるＵＲＬが含まれている。また、このＸＭＬファイルには、画像の付随情報検索条件や選択すべきデータベースについての情報も含まれる。画像検索装置が特徴量を複数のデータベースに分けて管理している場合に対応するためである。
【００７１】
処理要求受信部１１０が、クライアントパソコン４００から検索要求信号を受信すると、付随情報管理装置接続選択部１１６は、受信した検索条件を判定し（ステップＳ１０２）、この判定に従って、付随情報管理装置接続部１１７における固有の処理を介して、例えば、複数接続する内の付随情報管理装置３００ａに送信する（ステップＳ１０３）。付随情報管理装置３００ａは、検索条件による検索結果として得られる付随情報を画像検索装置１００に返信する（ステップＳ１０４）。このとき、検索結果は画像を特定できる一意な識別情報（ＩＤ）の集合とともに返送される。
【００７２】
具体的には、付随情報管理装置３００ａがリレーショナルデータベースで格納している場合、付随情報管理装置接続部１１７は与えられた条件に基づいて検索クエリ文を作成して付随情報管理装置３００ａに送信し、結果を受け取る。この時、画像検索装置１００はこの動作には関与せず、検索手続きを呼び出して結果として一意なＩＤの集合を受け取るだけである。
【００７３】
画像検索装置１００が受信したＩＤの集合と画像検索条件は、画像検索部１１５に送信され、クライアントパソコン４００から送信された検索キーに類似する画像が、ＩＤ集合に含まれる画像の中から検索される（ステップＳ１０５）。結果送信部１１１は、検索結果をＸＭＬ形式で構造化して、クライアントパソコン４００に送信する（ステップＳ１０６）。
【００７４】
図４は、付随情報管理装置における検索手順を説明するフローチャートである。付随情報管理装置３００は、検索キーとなる画像と付随情報に関する検索条件があれば受信し、付随情報に関する検索条件の有無を判定する（ステップＳ２０１）。検索条件が無いと判定した場合（ステップＳ２０１のＮｏ）、検索キー画像に基づいて画像検索を行い（ステップＳ２０２）、結果の情報を類似度順に並べてクライアントパソコンに送信する（ステップＳ２０８）。一方、検索条件があると判定した場合（ステップＳ２０１のＹｅｓ）、それをＭｅｔａＤａｔａＣｏｎｎｅｃｔｏｒ(付随情報管理装置接続部１１７)のsearchメソッドに入力し（ステップＳ２０３）、searchメソッド内で検索処理を行う（ステップＳ２０４）。
【００７５】
ここで、検索結果が１個以上あるか否かを判定し（ステップＳ２０５）、無いと判定した場合（ステップＳ２０５のＮｏ）結果が得られなければ該当画像がない旨をクライアントに通知する（ステップＳ２０６）。一方、あると判定した場合は（ステップＳ２０５のＹｅｓ）、検索キー画像に基づいて画像検索を行って（ステップＳ２０７）、その結果を類似度準に並べてクライアントへ送信する（ステップＳ２０８）。
【００７６】
図５は、画像検索装置が、画像情報および付随情報を登録する手順を説明するフローチャートである。処理要求受信部１１０は、クライアントパソコン４００から、ＸＭＬファイル形式で構造化された登録要求情報を受信する（ステップＳ３０１）。受信した登録要求情報は、画像を取得できるＵＲＬ、ファイル名、および画像の付随情報などを含む。また、画像検索装置１００が複数の特徴量データベース（不図示）に分けて特徴量を登録して管理している場合は、登録先のデータベースを選択する情報も含まれる。
【００７７】
次に、画像検索部１１５は、受信した画像のＵＲＬ、あるいはファイル名に対応する画像データを取得する（ステップＳ３０２）。画像特徴量算出部１１４は、取得した画像データの特徴量を計算し、画像特徴量データベース１１３に登録する。このとき、画像特徴量データベース１１３において特徴量に対応する一意なＩＤを決定する（ステップＳ３０３）。
【００７８】
次に、結果送信部１１１は、画像のＵＲＬまたはファイル名、付随情報、および取得したＩＤを、付随情報管理装置接続選択部１１６に送信し（ステップＳ３０４）、付随情報管理装置接続選択部１１６が付随情報管理装置３００ａを選択し（ステップＳ３０５）、付随情報管理装置接続部１１７を介して付随情報管理装置３００ａに送信する（ステップＳ３０６）。付随情報管理装置３００ａは、送信された付随情報を受信し、登録処理を行う。このとき、付随情報管理装置３００ａは、画像のＩＤ、ＵＲＬまたはファイル名、および付随情報を、検索可能な形の情報で登録する。
【００７９】
具体的には、付随情報管理装置３００ａがリレーショナルデータベースである場合、付随情報管理装置接続部１１７はこれらの情報をフィールドに持つレコードを挿入するための要求情報を作成して、付随情報管理装置３００ａに送信する（ステップＳ３０７）。この処理の流れにおいて、画像検索装置１００は、付随情報管理装置３００ａにおける要求情報の生成動作には関与しなく、ＵＲＬまたはファイル名、付随情報、一意なＩＤを登録する手続きを付随情報管理装置接続部１１７に依頼するだけである。登録動作を終了すると、終了した旨の情報がクライアントパソコン４００ａに送信されて、登録処理が終了する（ステップＳ３０８）。
【００８０】
図６は、画像検索装置が、画像特徴量および付随情報を削除する手順を説明するフローチャートである。クライアントパソコン４００ａは、ＸＭＬファイル形式によって構造化された、画像特徴量および付随情報の削除を要求する削除要求情報を送信する（ステップＳ４０１）。削除要求情報は削除しようとする画像を特徴量データベース中で識別するＩＤが含まれている。
【００８１】
画像検索装置１００の処理要求受信部１１０は、ＩＤを受信し、特徴量登録削除部１１４へ送信する（ステップＳ４０２）。画像に対する特徴量お呼び付随情報は、特徴量データベース１１３および付随情報管理装置３００ａ中においてそれぞれＩＤで特定可能な形で登録されている。そのため、登録削除部１１４は、ＩＤのみを使用して画像特徴量データベース１１３お呼び付随情報管理装置３００ａのそれぞれにおいて格納された特徴量情報を削除できる。
【００８２】
具体的には、付随情報管理装置３００ａがリレーショナルデータベースである場合には、対応する付随情報管理装置接続部１１７は画像のＩＤに対応する付随情報を削除する実行文を作成して付随情報管理装置３００ａに送信することで削除を実行する。画像検索装置１００は付随情報管理装置の差異には関係なく、付随情報管理装置接続部１１７に対して特定ＩＤに対応する付随情報の削除を指示するのみである。
【００８３】
また、付随情報管理装置３００ａまたは画像検索部１１５が、データ登録や削除などをキャンセルして元の状態に戻す機能、即ちトランザクション機能やＵＮＤＯ機能等を有する場合には、いずれかの登録・削除処理の失敗によるデータの不整合を防止するよう構成することができる。すなわち、画像検索部１１５がトランザクション機能を有する場合、以下の手順で処理を施す。
【００８４】
処理要求受信部１１０が登録に関する情報、または削除する画像のＩＤを受信すると、画像検索部１１５がトランザクションを開始し、特徴量登録削除部１１４が画像特徴量を登録または削除、さらに、付随情報管理装置３００ａにおける付随情報を登録または削除する（ステップＳ４０３）。
【００８５】
この処理において、双方の処理が成功した場合は、トランザクションをコミットする。一方、双方の処理のうちいずれかが失敗した場合は、処理を取り消すためにトランザクションをロールバックする。処理において成功した場合も失敗した場合も結果についての情報を双方へ送信する（ステップＳ４０４）。
【００８６】
（１．３．効果）
実施の形態１の画像検索装置によれば、画像検索装置を構成するサーバプログラムを変更することなく、比較的小規模な付随情報管理装置接続部を用意するだけで新たな付随情報管理装置と画像検索を連携させたシステムを構成することが可能となり、検索結果の統合や登録・削除時の不整合防止の処理を共通化できるため、多種類の付随情報管理装置に対する画像検索が容易となる。
【００８７】
（２．実施の形態２）
（２．１．実施の形態２による画像検索装置の構成）
実施の形態２による画像検索装置が実施の形態１と異なる点は、画像検索装置が、付随情報管理装置に登録させる際の付随情報入力および検索時の検索条件入力を受け付けさせる場合、それぞれ同一の書式で入力を受け付けさせるように構成する点である。具体的には、実施の形態２による画像検索装置は、付随情報を名前とその名前に対応する値の組を１対とするデータとして管理する。このとき、名前はあらかじめ定義した中から選択して利用する。このような付随情報およびその値の例を、下記の付随情報例１に挙げる。
【００８８】
付随情報例１
画像１: タイトル="An Orange", 撮影日時="2004/10/31 15:07" ...
画像２: タイトル="Sunset", 撮影日時="2004/9/28 18:30", ...
【００８９】
付随情報の登録時には、画像の一意なＩＤおよび画像の名称、その他の付随情報を組にして、登録手続きが呼びだされる。付随情報管理装置３００ａがリレーショナルデータベースである場合、付随情報管理装置３００ａは、上記の情報の組を以下のようなＳＱＬ文に展開して送信する。
INSERT into properties (id, タイトル, 撮影日時) VALUES (1, ‘An Orange', ‘2004/10/31 15/07');
【００９０】
画像検索時には選択したい名称、ＩＤ、あるいはその他の情報を条件として示す文字列が、画像検索装置２００から付随情報管理装置接続部１１７に送信される。付随情報管理装置接続部１１７は、これらの情報をＳＱＬクエリなど、接続先に適切な形式に変換し、送信する。
【００９１】
このように、画像検索装置と、付随情報管理装置、画像蓄積装置、およびクライアントパソコンと接続する接続部分での方式の違いを吸収することによって、付随情報の管理方法によらず、一定の形式で付随情報の入力および検索を行うことができ、ネットワークでつながるクライアントパソコンが付随情報管理装置に依存せずにユーザの検索要求を実行できる。
【００９２】
ここにおいて、画像検索装置は、（１）画像検索条件と付随情報の検索条件の両方を受け付けること、（２）画像検索条件のみを受け付けること、および（３）付随情報のみを受け付けて検索を行うこと、の３種類の検索要求を受け付けて検索を実行することができる。
【００９３】
付随情報のみで画像検索装置３００が画像検索を行う場合、付随情報管理装置３００ａから得られた画像の一意なＩＤの集合の要素それぞれに対して、画像検索装置においては、画像特徴量データベース１１３ａに記録されたＵＲＬまたはファイル名が読み出され、これら読み出されたＵＲＬまたはファイル名が検索結果としてクライアントパソコン４００に送信される。クライアントパソコン４００は、受信した情報に従ってモニタに画像を表示する。
【００９４】
また、画像検索装置３００は、クライアントパソコン４００から入力された文字列コマンドを受信し、付随情報管理装置３００ａに送信すること、即ち中継する。クライアントパソコン４００から受信する文字列コマンドとして、付随情報管理装置３００ａを保守する際のコマンド、任意のＳＱＬクエリなどを指定することができる。
【００９５】
（２．２．効果）
画像検索装置が、このように文字列コマンドを受送信することによって、画像検索装置に対して、クライアントパソコン側から画像の付随情報を検索するコマンドを送って検索したり、付随情報管理装置を保守する要求信号を送信することができる。クライアントパソコンから個別に付随情報管理装置に対してアクセスする場合に比べて、クライアントパソコン側における処理が簡略化できる。
【００９６】
（３．実施の形態３）
実施の形態３による画像検索システムは、ネットワークに接続された画像検索システムであって、図１に示したような構成を取る。即ち、実施の形態３による画像検索システムは、それぞれネットワーク５で接続された画像検索装置１００、画像蓄積装置２００、付随情報管理装置３００ａおよび３００ｂ、およびクライアントパソコン４００を備える。
【００９７】
ここで、画像検索装置１００は、実施の形態１による画像検索装置１００を、また、画像蓄積装置２００、付随情報管理装置３００ａおよび３００ｂ、およびクライアントパソコン４００は既に実施の形態１において説明したと同様の構成を取ることによって、実施の形態３による画像形成システムが構成できる。このように構成することによって、それぞれの装置がネットワーク上で接続していることによって、全体として画像検索システムを構成できる。
【００９８】
実施の形態３による画像形成システムは、既に説明してきたように、クライアントパソコンからの検索指示命令を受信し、画像の付随情報の管理形態に対応した付随情報管理装置の中から適合した物を動的に選択して送信し、画像検索と付随情報検索とを組み合わせた検索が可能になる。また、個々の画像の付随情報を画像と対応付けて管理できる付随情報管理装置を付随情報管理の形態の差異に適応して動的に切り替えることができ、また、検索結果を統合するような基本的な処理命令は、付随情報管理装置を呼び出す画像検索手段に搭載することができるので、少ない開発工数で複合的な検索が可能となる画像検索システムを提供できる。
【００９９】
（４．ハードウェア構成など）
図７は、実施の形態１による画像検索装置のハードウェア構成例を示す図である。既に説明した画像検索装置１００は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータシステムで実行することによって実現できる。コンピュータ９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９１１によって装置全体が制御されている。ＣＰＵ９１１には、バス９１２を介してＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９１３、ストレージデバイス９１４、グラフィック処理装置９１５、入力インタフェース９１６、および通信インタフェース９１７が接続されている。ＲＡＭ９１３には、ＣＰＵ９１１に実行させるＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。またＲＡＭ９１３には、ＣＰＵ９１１による処理に必要な各種データが格納される。ストレージデバイス９１４は、例えば、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）である。ストレージデバイス９１４には、ＯＳ、各種ドライバプログラム、アプリケーションプログラムなどが格納される。
【０１００】
グラフィック処理装置９１５には、モニタ９１８が接続されている。グラフィック処理装置９１５は、ＣＰＵ９１１からの命令に従って、画像をモニタ９１８の画面に表示させる。入力インタフェース９１６には、キーボード９１９とマウス９２０とが接続されている。入力インタフェース９１６は、キーボード９１９やマウス９２０から送られてくる信号を、バス９１２を介してＣＰＵ９１１に送信する。
【０１０１】
通信インタフェース９１７は、ネットワーク５に接続されている。通信インタフェース９１７は、ネットワーク５を介して、他のコンピュータとの間でデータの送受信を行う。
【０１０２】
以上のようなハードウェア構成によって、本実施の形態の画像検索機能を実現することができる。本実施の形態の画像検索装置１００をコンピュータ９００上で実現するには、コンピュータ９００にドライバプログラムを実装する。そして、このコンピュータシステム９００は、所定の記録媒体に記録された画像検索プログラムを読み出して実行することで画像検索装置を実現する。
【０１０３】
ここで、所定の記録媒体とは、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム９００の内外に備えられるハードディスクドライブ（ＨＤＤ）や、さらに、ネットワーク５を介して接続される他のコンピュータシステム並びにサーバが接続されるＬＡＮ／ＷＡＮなどのように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」など、コンピュータシステム９００によって読み取り可能な画像検索プログラムを記録するあらゆる記録媒体を含むものである。
【０１０４】
すなわち、画像検索プログラムは、上記した「可搬用の物理媒体」、「固定用の物理媒体」、「通信媒体」などの記録媒体に、コンピュータ読み取り可能に記録されるものであり、コンピュータシステム９００は、このような記録媒体から画像検索プログラムを読み出して実行することで画像検索装置および画像検索方法を実現する。なお、画像検索プログラムは、コンピュータシステム９００によって実行されることに限定されるものではなく、他のコンピュータシステムまたはサーバが画像検索プログラムを実行する場合や、これらが協働して画像検索プログラムを実行するような場合にも、本発明を同様に適用することができる。
【産業上の利用可能性】
【０１０５】
以上のように、本発明にかかる画像検索装置、画像検索方法、その方法をコンピュータに実行させるプログラム、および画像検索システムは、画像検索技術に有用であり、特にネットワーク接続された複数のクライアント端末からの画像検索要求に応える画像検索技術に有用である。
【図面の簡単な説明】
【０１０６】
【図１】実施の形態１によるネットワークに接続された画像検索装置を説明する図である。
【図２】実施の形態１による画像検索装置の機能的ブロック図である。
【図３】実施の形態１による画像検索手順を説明するフローチャートである。
【図４】付随情報管理装置における検索手順を説明するフローチャートである。
【図５】画像検索装置が、画像情報および付随情報を登録する手順を説明するフローチャートである。
【図６】画像検索装置が、画像特徴量および付随情報を削除する手順を説明するフローチャートである。
【図７】かかる画像検索装置のハードウェア構成を示すブロック図である。
【符号の説明】
【０１０７】
５  ネットワーク
１００  画像検索装置
２００  画像蓄積装置
３００ａ、３００ｂ  付随情報管理装置
４００  クライアントパソコン
１１０  処理要求受信部
１１１  結果送信部
１１２  画像特徴量算出部
１１３  画像特徴量データベース
１１４  特徴量登録削除部
１１５  画像検索部
１１６  付随情報管理装置接続選択部
１１７  付随情報管理装置接続部
【図１】
2006228187.tif 000003
【図２】
2006228187.tif 000004
【図３】
2006228187.tif 000005
【図４】
2006228187.tif 000006
【図５】
2006228187.tif 000007
【図６】
2006228187.tif 000008
【図７】
2006228187.tif 000009