(57)【特許請求の範囲】
【請求項１】
検索対象となる複数の画像について複数の特徴量を記憶した特徴量データベースを備える検索サーバと、上記検索対象画像の縮小画像を記憶した画像データベースを備える可視化サーバと、検索キー画像を指定するためのユーザインタフェースとを備えるクライアントとからなる類似画像検索システムにおける画像集合の表示方法であって、
画像検索結果を表示するために上記ユーザインタフェースに生成される可視化空間の複数の座標軸に対して、各座標軸と特徴量との対応関係が時間経過と共に変化するように、予め特徴量を対応付けるステップと、
上記検索サーバが、上記特徴量データベースから読み出された特徴量に基いて、上記検索キー画像と類似した画像を検索し、検索画像毎の類似度を算出するステップと、
上記可視化サーバが、上記検索サーバから上記検索キー画像との類似度を含む類似画像の検索結果を取得するステップと、
上記可視化サーバが、上記ユーザインタフェースに生成された可視化空間に、上記各座標軸と特徴量との対応関係と上記類似度に従って、上記検索結果が示す類似画像と対応する複数の縮小画像を表示するステップとからなり、
上記各縮小画像が、上記可視化空間に、各々の類似度に応じた大きさで、且つ、上記各座標軸と特徴量との対応関係の変化に応じて表示位置を自動的に変更して表示されることを特徴とする画像集合の表示方法。
【請求項２】
前記クライアントが、前記ユーザインタフェースに、複数区間に分割された所定期間分の時間軸に沿って、前記各座標軸に対応付け可能な複数の特徴量を提示した特徴量選択画面を表示するステップを有し、
前記可視化空間の各座標軸と特徴量との対応付けが、上記特徴量選択画面におけるユーザによる上記各区間での上記何れかの特徴量の選択によって設定され、
前記可視化サーバが、上記特徴量選択画面で設定された所定期間分の各座標軸と特徴量との対応関係を繰り返して利用することにより、前記可視化空間における各縮小画面の表示位置を自動的に変更することを特徴とする請求項１に記載の画像集合の表示方法。
【請求項３】
前記可視化サーバが、前記可視化空間の各座標軸と特徴量との対応関係を利用して、前記可視化空間で各縮小画面がフワフワと緩やか移動するように、各縮小画像の表示位置を変更することを特徴とする請求項１または請求項２に記載の画像集合の表示方法。
【請求項４】
前記可視化空間における座標軸と特徴量との対応関係が変化したとき、前記可視化サーバが、従前の座標系で表示される縮小画像と新たな座標系で表示される縮小画像との間を線形補間することによって、前記可視化空間で前記各縮小画面を緩やかに移動させることを特徴とする請求項２または請求項３に記載の画像集合の表示方法。
【請求項５】
前記可視化空間における座標軸と特徴量との対応関係が変化したとき、前記可視化サーバが、従前の座標系で表示される縮小画像と新たな座標系で表示される縮小画像との間を線形補間することによって、前記可視化空間に各縮小画面の移動軌跡を表示することを特徴とする請求項２または請求項３に記載の画像集合の表示方法。
【請求項６】
前記可視化サーバが、前記ユーザインタフェースで指定された速度に応じて、前記可視化空間における各縮小画面の移動速度を制御することを特徴とする請求項１〜請求項５の何れかに記載の画像集合の表示方法。
【請求項７】
検索対象となる複数の画像について複数の特徴量を記憶した特徴量データベースを備える検索サーバと、
上記検索対象画像の縮小画像を記憶した画像データベースを備える可視化サーバと、
検索キー画像を指定するためのユーザインタフェースとを備えるクライアントとからなる類似画像検索システムであって、
上記検索サーバが、上記特徴量データベースから読み出された特徴量に基いて、上記検索キー画像と類似した画像を検索し、検索画像毎の類似度を算出する手段を有し、
上記可視化サーバが、
画像検索結果を表示するために上記ユーザインタフェースに生成される可視化空間を形成する複数の座標軸について、各座標軸と特徴量との対応関係を経時変化させるための手段と、
上記検索サーバから上記検索キー画像との類似度を含む類似画像の検索結果を取得する手段と、
上記ユーザインタフェースに生成された可視化空間に、上記各座標軸と特徴量との対応関係と上記類似度に従って、上記検索結果が示す類似画像と対応する複数の縮小画像を表示するための手段とを備え、
上記各縮小画像が、上記可視化空間に、各々の類似度に応じた大きさで、且つ、上記各座標軸と特徴量との対応関係の変化に応じて表示位置を自動的に変更して表示されるようにしたことを特徴とする類似画像検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似画像検索システムに関する。
【背景技術】
【０００２】
従来の類似画像検索システムでは、多くの場合、検索のキーとなる画像との類似度に従って順番に並べたリストとして、検索結果が表示される。この場合、実際の類似度の定量的な値は表現されていないが、その定性的な関係はリスト中の順位として表現される。
【０００３】
一方、リスト表示では、キー画像との関係は示されるが、検索結果相互の類似性は表現されていない。各画像の表示位置は、キー画像との関係のみで秩序を持っており、前後の画像とは無関連である。特に、大量の画像を表示した場合、あるいは、複数のキー画像を指定された場合、結果として得られる表示は、ユーザに対して無秩序な印象を与えるものとなる。
【０００４】
これに対して、本願の発明者らによって特願平９−３３６７５０あるいは特願平９−３３６７５１「画像検索方法およびその装置およびこれを利用した検索サービス」として提案されたように、類似度の尺度となる特徴量を軸とした２次元ないしは３次元の座標系上の画像の散布図として検索結果を表現する方法をとると、データ間の類似性が空間的な配置として表現され、ユーザに対して秩序ある情報の提示が可能となる。これによって、大量画像の表示に耐えうるユーザインターフェイスが実現できる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
空間中の散布として検索結果を表現した場合、キー画像との類似性は表現されない。また、リスト表示の場合も、類似度自体の定量性は表現されていない。類似画像検索システムがシステム内部で行っている類似性に関する判断をユーザに分かりやすい形式で適切に伝えることは、ユーザ自身が、より希望に添った画像を得るための検索作業を進める上で重要といえる。従って、システムが判断した類似度を定量的にユーザに伝えるインターフェイスを実現する必要がある。
【０００６】
一方、空間的な散布図として検索結果を表現することは、大量のデータをユーザに提示する方法として一定の有効性を持つが、現状の電子的データ規模の増大から考えて、より多くのデータをユーザに提示する方法を考える必要がある。
【課題を解決するための手段】
【０００７】
検索結果である各画像をその類似度に応じて、類似度が大のものは大きく、類似度が小のものは小さく表示する。これによって、システムの類似性に関する判断が、定量的にユーザに対して可視化される。この手法を、空間的な散布図として表現する方法と融合させることによって、キー画像との類似性および検索結果間の類似性を共に表現できるユーザインターフェイスが実現できる。
【０００８】
一方、本発明では、より大量のデータをユーザに表示するために、空間的な散布図に時間の概念を導入する。検索結果の散布図は、表示に用いる座標系の２軸ないしは３軸をどの特徴量に対応させるかによって変化する。異なる座標系上での各画像の座標値を補間することによって、座標系の変換をデータの運動として表現することができる。各座標系での表現はそれぞれが秩序を持っており、結果として、総体的な運動も秩序を持ったものとなる。特に仮想的に３次元空間を表現した場合、空間中の対象物の運動は、対象物の配置についての３次元的な印象を高めるという利点もある。
【発明の効果】
【０００９】
本発明によって、類似画像検索システムにおいて、システムが判断する類似度を定量的な形式でユーザに対して可視化することが可能となった。また、大量の検索結果をユーザにとって秩序ある形式で提示することが可能となった。
【発明を実施するための最良の形態】
【００１０】
図１を参照しながら、本発明のシステム構成の一実施例を説明する。本実施例のシステム構成は、画像特徴量に基づく検索を行う検索サーバ１１０、仮想３次元空間の表示を行う可視化サーバ１２０およびＧＵＩ（グラフィックユーザインターフェイス）クライアント１３０からなる。サーバおよびクライアント間の情報の伝達はソケット通信で行う。
【００１１】
検索サーバ１１０は、画像特徴量データベース１４０から得られてサーバ内のメモリーに展開された画像特徴量に基づき、ＧＵＩクライアント１３０から送られた検索キー画像との類似度を計算する。可視化サーバ１２０は、サーバ１１０による類似度の計算結果とＧＵＩクライアント１３０から送られた表示要求に応じた仮想空間中の対象物の運動およびユーザの仮想空間中のウォークスルー動作に伴う仮想空間の状態更新を実時間で行う。また、可視化サーバ１２０は、仮想空間が表示される画面領域内で発生するマウスクリック等のユーザイベントを取得する。ＧＵＩクライアント１３０は、前述したように、検索条件の指定、および、可視化空間でのウォークスルー動作の制御の情報をユーザから取得する。
【００１２】
可視化サーバ１２０およびＧＵＩクライアント１３０は、高性能のテクスチュアマッピング機能を持つグラフィックワークステーションで動作する。検索サーバは同一計算機上、あるいは、他の高速な数値計算可能な計算機上で動作する。
【００１３】
検索サーバ１１０は、システム起動時に、画像特徴量のデータベース１４０から全画像分の特徴量をメモリー内に取り込む。可視化サーバ１２０は、同じくシステム起動時に、全画像データ縮小イメージを画像データベース１５０から取り込み、テクスチュアマッピング用のデータに変換し、メモリー内に取り込む。ＧＵＩクライアント１３０は、必要な画像データを各時点で画像データベース１５０から取り込む。ＧＵＩクライアント１３０における操作パネル１３１、画像パネル１３３およびフワフワ運動設定パネル１３２については後述する。
【００１４】
図２を参照しながら、本実施例のユーザインターフェイスの具体例を説明する。本実施例のユーザインターフェイスは、可視化サーバ１２０によって表示およびイベント処理が管理される可視化空間２１０、および、ＧＵＩクライアント１３０によって表示およびイベント処理が管理される操作パネル１３１、および、同じく、ＧＵＩクライアント１３０によって表示およびイベント処理が管理される３種の画像パネル１３３からなる。この３種のパネルは、好きな画像パネル２３０、嫌いな画像パネル２４０および収集画像パネル２５０から構成される。
【００１５】
可視化空間２１０では、検索結果の画像が３次元的な散布図として表示される。各画像の３次元中での大きさは、各画像の特徴量データと、ユーザが指定する好きな画像および嫌いな画像の特徴量データとから計算される類似度と対応付けられる。好きな画像および嫌いな画像に関するユーザの指定は、ＧＵＩクライアント１３０の管理する好きな画像パネルおよび嫌いな画像パネルにそれぞれ反映される。類似度は０から１の間の実数値で表現され、１ならば最大の大きさで画像は表示される。それ以下の場合は、類似度に比例して縮小して表示され、０．１以下の場合は表示されない。この類似度の値は、検索条件によって決まる。
【００１６】
画像検索の手順としては任意の方法が採用できるが、たとえば、初期画面では、システム側に予め用意された複数のキー画像（典型画像の集合）からの類似度に基づいて表示が行われるものとするのが簡単である。これは、通常の類似画像検索システムにおけるサンプル画像の表示に対応する。
【００１７】
可視化空間２１０の座標軸は画像特徴量から選ばれる。本実施例では、この軸の選択が一定時間間隔で自動的に変更される。ある座標系から次の座標系へ移行する間は、各画像の２つの座標系上での値を線形補間したものを画像の軌道として用いる。ユーザに対しては、これは、各画像の自動的な３次元運動として観察される。以下、この運動をフワフワ運動と呼ぶ。
【００１８】
可視化空間２１０内をユーザがウォークスルーしながら検索する機能は、操作パネル１３１を介して行われる。これについては後述する。また、ユーザは、可視化空間２１０中の画像をマウスでピックすることによって、この画像を後述する画像パネル１３３のいずれかの画像パネルへ登録することができる。
【００１９】
図３を参照しながら操作パネル１３１によるウォークスルー機能設定およびフワフワ運動設定について説明する。ウォークスルー機能に関連するものとして、首振り制御ボタン３５０、前後左右方法への移動制御ボタン３６０、高さ制御ボタン３７０、移動速度制御スライダー３４０および視点初期化ボタン３１０が存在する。また、フワフワ運動に関連するものとして、フワフワ運動の速度制御スライダー３２０、フワフワ運動設定パネルの表示の要否(オン、オフ)を制御するための表示ボタン３３０が存在する。
【００２０】
図４を参照しながらフワフワ運動設定パネルによる、フワフワ運動の軌道の設定を説明する。
【００２１】
パネル上では、ボタン４３０によって各時点（ステップ）でどの特徴量を可視化空間の座標軸ｘ，ｙ，ｚの特徴量として選ぶかを設定する。図の例では塗りつぶされている特徴量４３０がそれぞれの座標軸で可視化空間の特徴量として選択されていることを示している。この図の例では、各ステップ毎に８つの特徴量の一つが選択できるようになされているとともに、各座標軸では異なった特徴量の組み合わせができる。同じ座標軸では各ステップ毎の特徴量は同じである。また、ボタン４２０によってステップの選択を行うことによって、任意の座標系にジャンプさせて表示することができる。ボタン４１０によって選択ステップの複製（ＤＵＰ）あるいは削除（ＤＥＬ）を行うとステップ全体の長さが変更される。各ステップの時間長は一定である。複製の場合は、選択されたステップの次にそれと同じ内容のステップが挿入される。削除の場合は、選択されたステップが取り除かれる。
【００２２】
デフォルトの状態では、軌道はステップを順方向に進みループするが、ユーザが、自らの好みに応じて、ボタン４４０により進行方向を、ボタン４５０によりループするかしないか（オン、オフ）の選択ができる。また、ボタン４７０により作成した軌道をファイル上に格納（ＳＡＶＥ）すること、予め作成した軌道をファイルから読み出す（ＬＯＡＤ）ことができる。リスタートボタン４６０により設定した運動をチェックすることが出来る。また、設定パネルの表示が不用な場合はクローズボタン４００をクリックすることにより表示を止めることが出来る。
【００２３】
フワフワ運動を、図４の特徴量の選択で説明する。ステップ１と２に着目してみると、y軸、z軸では特徴量に変更はないが、x軸では異なる。この結果、検索結果が変化し、可視化空間２１０に現れていた画像、あるいは画像の位置、大きさが変化する。本実施例で用いるフワフワ運動という名称は、この時、先に現れていた画像の動きがフワフワと動く感じを与えることから、与えられたものである。
図２に示したように、画像パネル１３３には、好きな画像パネル２３０、嫌いな画像パネル２４０、収集画像パネル２５０の３種が存在する。収集画像パネルは、ユーザがとっておきたい画像をおいておく場所で、検索条件には影響しない。各パネルへの画像の登録は、前述した可視化空間における画像のマウスによるクリックあるいは他の画像パネルからのコピー、ないしは、外部ファイルからの読み込みによって行われる。好きな画像パネル、および、嫌いな画像パネルに登録された画像は、検索サーバ１１０へキー画像として登録される。
【００２４】
図５に各画像パネルの構成例を示す。各画像パネル上には、画像リストとして機能する表示パネル５１０が存在する。表示パネルの右と下には上下・左右のスクロールバー、上に画像表示サイズの拡大縮小のためのスライダー５６０が付与されている。ボタン５２０により画像パネル登録された画像リストの外部ファイルへの格納（ＳＡＶＥ）、外部ファイルからの画像リストの登録（ＬＯＡＤ）が制御できる。ボタン５３０により登録画像の全消去（ＣＬＥＡＲ）の操作が出来る。
【００２５】
好きな画像パネル２３０および嫌いな画像パネル２４０には、検索条件を決めるパラメータを指定するためのスライダー５４０および５５０が付いている。類似度計算制御スライダー５４０は、複数のキー画像からの類似度から各検索対象画像の最終的な類似度を構成する際のパラメータを指定する。色重み付け(Color)と形重み付け(Shape)スライダー５５０は、色関連の特徴量、形関連の特徴量、それぞれをどの位重視するかを指定する。登録キー画像およびこれらの各種パラメータによって与えれらる検索条件から類似度を計算する具体的な手続きは後述する。
【００２６】
可視化空間２１０と画像パネル１３３との間での画像の移動、および、画像パネル１３３からの画像の削除は、３つボタンマウス(図示しないが、計算機の入出力の操作手段として一般的に備えられるもので良い)による操作によって行う。
【００２７】
可視化空間２１０内で、左ボタンで画像をピックした場合は好きな画像パネル２３０へ画像を登録、中ボタンの場合は嫌いな画像パネル２４０へ登録、右ボタンの場合は収集画像パネル２５０へ登録される。好きな画像パネル２３０内では、左ボタンで画像をピックした場合、確認後、その画像の登録を削除する。中ボタンで画像をピックした場合は嫌いな画像パネル２４０へ画像を登録し、右ボタンで画像をピックした場合は収集画像パネル２５０へ画像を登録する。同様に、嫌いな画像パネル２４０内では、左ボタンで画像をピックした場合、好きな画像パネルへ画像を登録し、中ボタンで画像をピックした場合確認後削除し、右ボタンで画像をピックした場合収集画像パネル２５０へ画像を登録する。収集画像パネル２５０内では、左ボタンで画像をピックした場合は好きな画像パネル２３０へ画像を登録し、中ボタンで画像をピックした場合は嫌いな画像パネル２４０へ画像を登録し、右ボタンで画像をピックした場合は確認後登録を削除する。もちろん、二つボタンのマウスであれば、ボタン位置ではすべて決めることはできないから、シフトキーあるいはコントロールキーとの併用をすることになる。
【００２８】
次に、類似度の計算について説明する。類似度の計算は、検索サーバ１１０中で行われる。
【００２９】
本実施例では、色関連の画像特徴量として、画像中の色分布をヒストグラム化した特徴量、形関連の画像特徴量として、画像の輝度勾配ベクトルの方向成分の分布をヒストグラム化した特徴量を用いている。両者とも実数ベクトルとして表現されており、画像間の類似度は、これらのベクトル間の２乗距離をもとに定義される。次式は、ある与えらた画像(検索キー画像)と好きな画像パネル２３０に登録されたある画像（添え字ｉで表わす）との類似度を定義したものである。
【００３０】
【数１】
0004019093.tif 000002
【００３１】
２種類の特徴量についての２乗距離に重みを付けしたのち指数をとって類似度としている。式中の２つの重みパラメータは、好きな画像パネル上の特徴量重み付けスライダー５５０による設定で変更できる。
【００３２】
同様に嫌いな画像パネル２４０に登録された画像との類似度は次式で定義される。
【００３３】
【数２】
0004019093.tif 000003
【００３４】
与えられた画像と複数登録されたキー画像との距離は、各キー画像との類似度をもとに、以下のように構成される。
【００３５】
【数３】
0004019093.tif 000004
【００３６】
【数４】
0004019093.tif 000005
【００３７】
（数３）は、好きな画像との類似度、（数４）は嫌いな画像との類似度である。類似度計算パラメータに従って、計算方法は、最も類似したキー画像との類似度を用いる、全キー画像との平均的な類似度を用いる、最も類似していないキー画像との類似度を用いる、という３段階を連続的に変化する。この類似度パラメータは、特徴量への重み付けと同様、画像パネル上から制御される。これら２つの類似度をもとに、最終的には、次式のような類似度が定義される。
【００３８】
【数５】
0004019093.tif 000006
【００３９】
嫌いな画像との類似度に付加されている係数は、特徴量の重み付けが全体として小さい場合に嫌いな画像との類似度の効果を小さくするためのである。仮に、嫌いな画像パネル上で特徴量重み付けをすべて０とした場合は、嫌いな画像を登録した効果な無くなる。
【００４０】
可視化サーバ１２０は、定常的には、ＧＵＩクライアント１３０、検索サーバ１１０とは独立にフワフワ運動を生成し続ける。ユーザがウォークスルーすることに伴う可視化空間の変化は、ＧＵＩクライアントからの送られ制御情報によって引き起こされる。検索条件の変化に伴う可視化空間の変化は、図６に示すようなデータフローによって起こる。
【００４１】
可視化サーバ１２０は、可視化空間２１０上でユーザから画像パネルへの画像の登録要求を取得すると、その画像の登録をGUIクライアントに通知する６１０。GUIクライアント１３０は、可視化サーバ１２０から通知される画像パネルへの登録要求が、好きな画像パネル２３０あるいは嫌いな画像パネル２４０に対しての登録要求であった場合、検索サーバ１１０に対して検索条件の変更を通知する６２０。同様に、GUIクライアント１３０は、ＧＵＩクライアント自身が管理する画像パネル上でのユーザ操作に伴う、好きな画像・嫌いな画像の登録・削除、および、検索条件を指定するパラメータの変更が生じた場合も、検索サーバ１１０に対して検索条件の変更を通知する６２０。検索サーバ１１０は、ＧＵＩクライアントからの検索条件の変更通知を取得すると、類似度の再計算を実行する。GUIクライアント１３０は、検索条件の変更に伴う検索サーバ１１０内での類似度の再計算が終了したのを確認すると、可視化サーバ１２０に対して、検索サーバ１１０から再計算された類似度を取得するように通知する６３０。可視化サーバ１２０は、検索サーバ１１０から類似度データの取得し６４０、可視化空間２１０の表示の再構成を行う。可視化空間２１０の再構成が終了すると、可視化サーバ１２０は、ＧＵＩクライアント１３０に再構成の終了を通知する。可視化空間２１０の再構成を確認した後、GUIクライアント１３０は、通常のユーザからの入力待ち状態に戻る。検索サーバ１１０への検索条件の通知から、可視化空間２１０の再構成の確認までは、画像パネルのスクロール等の検索サーバ１１０および可視化サーバ１２０との通信を伴わない処理を除き、GUIクライアント１３０は、ユーザからの入力イベントを無視する。
【００４２】
以上のデータのフローを高性能のテクスチュアマッピング機能を持つグラフィックワークステーションで実現することにより、検索条件の変更とそれに伴う可視化空間内の表示の変化を、ユーザが連続的な事象として認識できるインターフェイスが実現される。
【００４３】
図７は、本発明をオンライン画像・映像コンテンツサービスに展開したときのシステム構成と運用を説明する図である。
【００４４】
本システムでは、ライセンスを受けた多数のユーザ７２０とコンテンツサービス業者７１０が、インターネット上で情報の授受を行う。各ユーザに対して、予め、コンテンツサービス業者自身、ないしは、ソフトウェア提供業者から、ブラウジングソフト７２１が提供される。サービス業者側には、大規模な画像・映像のデータベース７２２、それらの特徴量データベース７１２、ブラウジングソフト用のサムネール画像のデータベース７１３が存在しており、これらは管理サーバ７１４によって管理されている。
【００４５】
なお、映像に関しては、カット割りされた静止画に関する特徴量がデータベース化されている。
【００４６】
ブラウジングソフト７２１は、先の実施例での可視化サーバ１２０およびＧＵＩクライアント１３０と同様、仮想的３次元空間中の状態更新を実時間で行う。ユーザインターフェイス全体の構成は、先の実施例と同様である。
【００４７】
ユーザは、ブラウジングソフト７２１を立ち上げると、まず、ブラウジングする画像ないしは映像のカテゴリーを選択する。サーバ側では、予め各カテゴリーに対して複数のキー画像が典型画像の集合として用意されており、各画像には、この典型画像との類似度が登録されている。ユーザはこれらの情報を利用して簡単にブラウジングする画像ないしは映像のカテゴリーを指定することができる。管理サーバ７１４は、ユーザの選択を受信すると、選択されたカテゴリーに対応する画像ないしは映像のサムネール画像（映像の場合はカット割りされた代表画像のサムネール画像）、それらの特徴量、および、典型画像からの類似度を、類似度が高い順にユーザに送付する。ブラウジングソフト７２１は、可視化空間中の状態更新レート（１回の画面再構成のため時間）内に収まる範囲でデータを取得し、溢れたデータは次の状態更新時に取得するよう保留される。
【００４８】
ブラウジングソフト７２１は、ユーザから検索条件の指定（キー画像の登録、特徴量の重み付け指定等）を受け付けると、サーバ７１４に対して類似度の再計算を要求する。サーバは、再計算が終了すると、類似度の変化が大きい順序で、再計算された類似度データをユーザに送付する。この際に、ブラウジングソフトが以前取得したことがないデータについては、サムネール画像および特徴量も合わせて送付する。ブラウジングソフトは、再計算された類似度データを優先的に取得し、取得できず保留されていたデータは破棄する。この場合も、状態更新レートから溢れるデータは保留される。
【００４９】
以上の処理フローによって、ユーザは、実時間性を失うことなくサーバ側の画像・映像データベースをブラウジングすることができる。ブラウジングする中で、自分が欲しいと思うデータに出会ったユーザは、あらためて、データベース７１１中にある本画像、あるいは、映像の取得をサーバに要求する。サーバは、課金処理等を行ったのち、ユーザにそれらのデータを送付する。
【図面の簡単な説明】
【００５０】
【図１】本発明のシステム構成の一実施例を示す図。
【図２】ＧＵＩクライアントに提供されるユーザインターフェイスの具体例を示す図。
【図３】図２のユーザインターフェイスの具体例における操作パネルを説明する図。
【図４】図２のユーザインターフェイスの具体例におけるフワフワ運動設定パネルを説明する図。
【図５】図２のユーザインターフェイスの具体例における好きな画像パネル、嫌いな画像パネル及び収集画像パネルのそれぞれの構成例を説明する図。
【図６】図２のユーザインターフェイスの具体例におけるユーザの検索条件の変化に対応したデータの動きを説明する図。
【図７】図２のユーザインターフェイスの具体例をコンテンツサービスに展開したときのシステム構成と運用を説明する図。
【符号の説明】
【００５１】
１１０：検索サーバ、１２０：可視化サーバ、１３０：ＧＵＩクライアント、１３１：操作パネル、１３２：フワフワ運動設定パネル、１３３：画像パネル、１４０：画像特徴量データベース、１５０：画像データベース、２１０：可視化空間、２２０：操作パネル、２３０：好きな画像パネル、２４０：嫌いな画像パネル、２５０：収集画像パネル、３１０：視点初期化、３２０：フワフワ運動速度制御スライダー、３３０：フワフワ運動設定パネル表示、３４０：ウォークスルー移動速度制御スライダー、３５０：ウォークスルー首振り制御ボタン、３６０：ウォークスルー前後左右制御ボタン、３７０：ウォークスルー高さ制御ボタン、４００：フワフワ運動設定パネルクローズボタン、４１０：選択したステップの複製と削除ボタン、４２０：ステップの選択ボタン、４３０：各ステップの可視化座標系への特徴量軸の割り当てボタン、４４０：運動方向の選択ボタン、４５０：繰り返し運動（ループ）のオン・オフボタン、４６０：運動の再スタートボタン、４７０：軌道ファイルのファイルからの読み込みとファイルへの書き出しボタン、５１０：画像リストの表示パネル、５２０：画像リストの入出力ボタン、５３０：画像の全削除ボタン、５４０：類似度計算制御スライダー、５５０：色重み付け(Color)と形重み付け(Shape)スライダー、５６０：画像表示サイズの拡大縮小のためのスライダー、６１０：画像の登録、６２０：検索条件の更新、６３０：類似度データ取得要求、６４０：類似度データの取得、７１０：コンテンツサービス業者、７１１：画像・映像データベース、７１２：特徴量データベース、７１３：サムネール画像データベース、７１４：データベース管理サーバ、７２０：ユーザ、７２１：ブラウジングソフト、７２２：特徴量データ、７２３：サムネール画像。
【図１】
0004019093.tif 000007
【図２】
0004019093.tif 000008
【図３】
0004019093.tif 000009
【図４】
0004019093.tif 000010
【図５】
0004019093.tif 000011
【図６】
0004019093.tif 000012
【図７】
0004019093.tif 000013