(57)【要約】【課題】従来の類似画像検索システムでは、システムが判断した類似度の定量的な性質をユーザが知ることができない。また、データベース規模の増大により、より多くのデータを秩序ある形式でユーザに提示することが必要とされている。【解決手段】類似画像検索における検索結果を、画像特徴量を軸とする２ないし３次元空間中に小画像の散布図として表現するとともに、小画像の大きさが類似度の大きさに対応するように表示する。また、特徴量からの軸の選択を自動的に変更させることによって、散布図の表示に運動性を与える。【選択図】図２
2006114053.tif 000002
【特許請求の範囲】
【請求項１】
検索対象となる複数の画像を画像の特徴を示す特徴量データベースと画像自体および画像の縮小画像を持つ画像データベースとに収集し、検索はユーザの所望する画像の特徴量で特徴量データベースから検索を行い、検索結果を画像データベースを利用して小画像の散布図として表示する類似画像検索方法であって、ユーザが所望する画像との類似度の値に従って、類似度の高い画像は大きく、類似度の低い画像は小さくなるように表示するとともに、時間の経過とともに検索条件が変化するとき各検索条件に応じた検索結果を連続的な変化としてユーザに示すことを特徴とする類似画像検索方法。
【請求項２】
上記検索結果を画像特徴量を３軸とする３次元仮想空間中に表示する請求項１記載の類似画像検索方法。
【請求項３】
上記検索結果の表示の連続的な変化が検索条件の変化に対応して得られる異なる座標系上の各画像の異なる座標値を補完することによって得られる請求項１記載の類似画像検索方法。
【請求項４】
検索対象となる複数の画像の特徴を示す特徴量データベース、検索対象となる複数の画像の画像自体および画像の縮小画像を持つ画像データベース、ユーザの所望する画像および検索条件を入力するためのインタフェイス、ユーザの所望する画像および検索条件に対応した特徴量で特徴量データベースから検索を行う検索サーバ、検索結果を画像データベースを利用して小画像の散布図として表示する可視化サーバを備える類似画像検索装置であって、前記可視化サーバはユーザが所望する画像との類似度の値に従って、類似度の高い画像は大きく、類似度の低い画像は小さくなるように表示するとともに、時間の経過とともに検索条件が変化するとき各検索条件に応じた検索結果を連続的な変化としてユーザに示すことを特徴とする類似画像検索装置。
【請求項５】
検索対象となる複数の画像の特徴を示す特徴量データベース、検索対象となる複数の画像の画像自体および画像の縮小画像を持つ画像データベース、ユーザの所望する画像および検索条件に対応した特徴量で特徴量データベースから検索を行う検索サーバ、検索結果を画像データベースを利用して小画像の散布図として表示する可視化サーバおよびユーザとのアクセスを管理する管理サーバを備えるコンテンツサービス業者の類似画像検索装置と、ユーザの所望する画像および検索条件を入力するためのインタフェイスと、両者を結合するネットワークとによって提供される検索サービスであって、前記可視化サーバはユーザが所望する画像との類似度の値に従って、類似度の高い画像は大きく、類似度の低い画像は小さくなるように表示するとともに、時間の経過とともに検索条件が変化するとき各検索条件に応じた検索結果を連続的な変化としてユーザに提供するものであることを特徴とする類似画像検索サービス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似画像検索システムに関する。
【背景技術】
【０００２】
従来の類似画像検索システムでは、多くの場合、検索のキーとなる画像との類似度に従って順番に並べたリストとして、検索結果が表示される。この場合、実際の類似度の定量的な値は表現されていないが、その定性的な関係はリスト中の順位として表現される。
【０００３】
一方、リスト表示では、キー画像との関係は示されるが、検索結果相互の類似性は表現されていない。各画像の表示位置は、キー画像との関係のみで秩序を持っており、前後の画像とは無関連である。特に、大量の画像を表示した場合、あるいは、複数のキー画像を指定された場合、結果として得られる表示は、ユーザに対して無秩序な印象を与えるものとなる。
【０００４】
これに対して、本願の発明者らによって特願平９−３３６７５０あるいは特願平９−３３６７５１「画像検索方法およびその装置およびこれを利用した検索サービス」として提案されたように、類似度の尺度となる特徴量を軸とした２次元ないしは３次元の座標系上の画像の散布図として検索結果を表現する方法をとると、データ間の類似性が空間的な配置として表現され、ユーザに対して秩序ある情報の提示が可能となる。これによって、大量画像の表示に耐えうるユーザインターフェイスが実現できる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
空間中の散布として検索結果を表現した場合、キー画像との類似性は表現されない。また、リスト表示の場合も、類似度自体の定量性は表現されていない。類似画像検索システムがシステム内部で行っている類似性に関する判断をユーザに分かりやすい形式で適切に伝えることは、ユーザ自身が、より希望に添った画像を得るための検索作業を進める上で重要といえる。従って、システムが判断した類似度を定量的にユーザに伝えるインターフェイスを実現する必要がある。
【０００６】
一方、空間的な散布図として検索結果を表現することは、大量のデータをユーザに提示する方法として一定の有効性を持つが、現状の電子的データ規模の増大から考えて、より多くのデータをユーザに提示する方法を考える必要がある。
【課題を解決するための手段】
【０００７】
検索結果である各画像をその類似度に応じて、類似度が大のものは大きく、類似度が小のものは小さく表示する。これによって、システムの類似性に関する判断が、定量的にユーザに対して可視化される。この手法を、空間的な散布図として表現する方法と融合させることによって、キー画像との類似性および検索結果間の類似性を共に表現できるユーザインターフェイスが実現できる。
【０００８】
一方、本発明では、より大量のデータをユーザに表示するために、空間的な散布図に時間の概念を導入する。検索結果の散布図は、表示に用いる座標系の２軸ないしは３軸をどの特徴量に対応させるかによって変化する。異なる座標系上での各画像の座標値を補間することによって、座標系の変換をデータの運動として表現することができる。各座標系での表現はそれぞれが秩序を持っており、結果として、総体的な運動も秩序を持ったものとなる。特に仮想的に３次元空間を表現した場合、空間中の対象物の運動は、対象物の配置についての３次元的な印象を高めるという利点もある。
【発明の効果】
【０００９】
本発明によって、類似画像検索システムにおいて、システムが判断する類似度を定量的な形式でユーザに対して可視化することが可能となった。また、大量の検索結果をユーザにとって秩序ある形式で提示することが可能となった。
【発明を実施するための最良の形態】
【００１０】
図１を参照しながら、本発明のシステム構成の一実施例を説明する。本実施例のシステム構成は、画像特徴量に基づく検索を行う検索サーバ１１０、仮想３次元空間の表示を行う可視化サーバ１２０およびＧＵＩ（グラフィックユーザインターフェイス）クライアント１３０からなる。サーバおよびクライアント間の情報の伝達はソケット通信で行う。
【００１１】
検索サーバ１１０は、画像特徴量データベース１４０から得られてサーバ内のメモリーに展開された画像特徴量に基づき、ＧＵＩクライアント１３０から送られた検索キー画像との類似度を計算する。可視化サーバ１２０は、サーバ１１０による類似度の計算結果とＧＵＩクライアント１３０から送られた表示要求に応じた仮想空間中の対象物の運動およびユーザの仮想空間中のウォークスルー動作に伴う仮想空間の状態更新を実時間で行う。また、可視化サーバ１２０は、仮想空間が表示される画面領域内で発生するマウスクリック等のユーザイベントを取得する。ＧＵＩクライアント１３０は、前述したように、検索条件の指定、および、可視化空間でのウォークスルー動作の制御の情報をユーザから取得する。
【００１２】
可視化サーバ１２０およびＧＵＩクライアント１３０は、高性能のテクスチュアマッピング機能を持つグラフィックワークステーションで動作する。検索サーバは同一計算機上、あるいは、他の高速な数値計算可能な計算機上で動作する。
【００１３】
検索サーバ１１０は、システム起動時に、画像特徴量のデータベース１４０から全画像分の特徴量をメモリー内に取り込む。可視化サーバ１２０は、同じくシステム起動時に、全画像データ縮小イメージを画像データベース１５０から取り込み、テクスチュアマッピング用のデータに変換し、メモリー内に取り込む。ＧＵＩクライアント１３０は、必要な画像データを各時点で画像データベース１５０から取り込む。ＧＵＩクライアント１３０における操作パネル１３１、画像パネル１３３およびフワフワ運動設定パネル１３２については後述する。
【００１４】
図２を参照しながら、本実施例のユーザインターフェイスの具体例を説明する。本実施例のユーザインターフェイスは、可視化サーバ１２０によって表示およびイベント処理が管理される可視化空間２１０、および、ＧＵＩクライアント１３０によって表示およびイベント処理が管理される操作パネル１３１、および、同じく、ＧＵＩクライアント１３０によって表示およびイベント処理が管理される３種の画像パネル１３３からなる。この３種のパネルは、好きな画像パネル２３０、嫌いな画像パネル２４０および収集画像パネル２５０から構成される。
【００１５】
可視化空間２１０では、検索結果の画像が３次元的な散布図として表示される。各画像の３次元中での大きさは、各画像の特徴量データと、ユーザが指定する好きな画像および嫌いな画像の特徴量データとから計算される類似度と対応付けられる。好きな画像および嫌いな画像に関するユーザの指定は、ＧＵＩクライアント１３０の管理する好きな画像パネルおよび嫌いな画像パネルにそれぞれ反映される。類似度は０から１の間の実数値で表現され、１ならば最大の大きさで画像は表示される。それ以下の場合は、類似度に比例して縮小して表示され、０．１以下の場合は表示されない。この類似度の値は、検索条件によって決まる。
【００１６】
画像検索の手順としては任意の方法が採用できるが、たとえば、初期画面では、システム側に予め用意された複数のキー画像（典型画像の集合）からの類似度に基づいて表示が行われるものとするのが簡単である。これは、通常の類似画像検索システムにおけるサンプル画像の表示に対応する。
【００１７】
可視化空間２１０の座標軸は画像特徴量から選ばれる。本実施例では、この軸の選択が一定時間間隔で自動的に変更される。ある座標系から次の座標系へ移行する間は、各画像の２つの座標系上での値を線形補間したものを画像の軌道として用いる。ユーザに対しては、これは、各画像の自動的な３次元運動として観察される。以下、この運動をフワフワ運動と呼ぶ。
【００１８】
可視化空間２１０内をユーザがウォークスルーしながら検索する機能は、操作パネル１３１を介して行われる。これについては後述する。また、ユーザは、可視化空間２１０中の画像をマウスでピックすることによって、この画像を後述する画像パネル１３３のいずれかの画像パネルへ登録することができる。
【００１９】
図３を参照しながら操作パネル１３１によるウォークスルー機能設定およびフワフワ運動設定について説明する。ウォークスルー機能に関連するものとして、首振り制御ボタン３５０、前後左右方法への移動制御ボタン３６０、高さ制御ボタン３７０、移動速度制御スライダー３４０および視点初期化ボタン３１０が存在する。また、フワフワ運動に関連するものとして、フワフワ運動の速度制御スライダー３２０、フワフワ運動設定パネルの表示の要否(オン、オフ)を制御するための表示ボタン３３０が存在する。
【００２０】
図４を参照しながらフワフワ運動設定パネルによる、フワフワ運動の軌道の設定を説明する。
【００２１】
パネル上では、ボタン４３０によって各時点（ステップ）でどの特徴量を可視化空間の座標軸ｘ，ｙ，ｚの特徴量として選ぶかを設定する。図の例では塗りつぶされている特徴量４３０がそれぞれの座標軸で可視化空間の特徴量として選択されていることを示している。この図の例では、各ステップ毎に８つの特徴量の一つが選択できるようになされているとともに、各座標軸では異なった特徴量の組み合わせができる。同じ座標軸では各ステップ毎の特徴量は同じである。また、ボタン４２０によってステップの選択を行うことによって、任意の座標系にジャンプさせて表示することができる。ボタン４１０によって選択ステップの複製（ＤＵＰ）あるいは削除（ＤＥＬ）を行うとステップ全体の長さが変更される。各ステップの時間長は一定である。複製の場合は、選択されたステップの次にそれと同じ内容のステップが挿入される。削除の場合は、選択されたステップが取り除かれる。
【００２２】
デフォルトの状態では、軌道はステップを順方向に進みループするが、ユーザが、自らの好みに応じて、ボタン４４０により進行方向を、ボタン４５０によりループするかしないか（オン、オフ）の選択ができる。また、ボタン４７０により作成した軌道をファイル上に格納（ＳＡＶＥ）すること、予め作成した軌道をファイルから読み出す（ＬＯＡＤ）ことができる。リスタートボタン４６０により設定した運動をチェックすることが出来る。また、設定パネルの表示が不用な場合はクローズボタン４００をクリックすることにより表示を止めることが出来る。
【００２３】
フワフワ運動を、図４の特徴量の選択で説明する。ステップ１と２に着目してみると、y軸、z軸では特徴量に変更はないが、x軸では異なる。この結果、検索結果が変化し、可視化空間２１０に現れていた画像、あるいは画像の位置、大きさが変化する。本実施例で用いるフワフワ運動という名称は、この時、先に現れていた画像の動きがフワフワと動く感じを与えることから、与えられたものである。
図２に示したように、画像パネル１３３には、好きな画像パネル２３０、嫌いな画像パネル２４０、収集画像パネル２５０の３種が存在する。収集画像パネルは、ユーザがとっておきたい画像をおいておく場所で、検索条件には影響しない。各パネルへの画像の登録は、前述した可視化空間における画像のマウスによるクリックあるいは他の画像パネルからのコピー、ないしは、外部ファイルからの読み込みによって行われる。好きな画像パネル、および、嫌いな画像パネルに登録された画像は、検索サーバ１１０へキー画像として登録される。
【００２４】
図５に各画像パネルの構成例を示す。各画像パネル上には、画像リストとして機能する表示パネル５１０が存在する。表示パネルの右と下には上下・左右のスクロールバー、上に画像表示サイズの拡大縮小のためのスライダー５６０が付与されている。ボタン５２０により画像パネル登録された画像リストの外部ファイルへの格納（ＳＡＶＥ）、外部ファイルからの画像リストの登録（ＬＯＡＤ）が制御できる。ボタン５３０により登録画像の全消去（ＣＬＥＡＲ）の操作が出来る。
【００２５】
好きな画像パネル２３０および嫌いな画像パネル２４０には、検索条件を決めるパラメータを指定するためのスライダー５４０および５５０が付いている。類似度計算制御スライダー５４０は、複数のキー画像からの類似度から各検索対象画像の最終的な類似度を構成する際のパラメータを指定する。色重み付け(Color)と形重み付け(Shape)スライダー５５０は、色関連の特徴量、形関連の特徴量、それぞれをどの位重視するかを指定する。登録キー画像およびこれらの各種パラメータによって与えれらる検索条件から類似度を計算する具体的な手続きは後述する。
【００２６】
可視化空間２１０と画像パネル１３３との間での画像の移動、および、画像パネル１３３からの画像の削除は、３つボタンマウス(図示しないが、計算機の入出力の操作手段として一般的に備えられるもので良い)による操作によって行う。
【００２７】
可視化空間２１０内で、左ボタンで画像をピックした場合は好きな画像パネル２３０へ画像を登録、中ボタンの場合は嫌いな画像パネル２４０へ登録、右ボタンの場合は収集画像パネル２５０へ登録される。好きな画像パネル２３０内では、左ボタンで画像をピックした場合、確認後、その画像の登録を削除する。中ボタンで画像をピックした場合は嫌いな画像パネル２４０へ画像を登録し、右ボタンで画像をピックした場合は収集画像パネル２５０へ画像を登録する。同様に、嫌いな画像パネル２４０内では、左ボタンで画像をピックした場合、好きな画像パネルへ画像を登録し、中ボタンで画像をピックした場合確認後削除し、右ボタンで画像をピックした場合収集画像パネル２５０へ画像を登録する。収集画像パネル２５０内では、左ボタンで画像をピックした場合は好きな画像パネル２３０へ画像を登録し、中ボタンで画像をピックした場合は嫌いな画像パネル２４０へ画像を登録し、右ボタンで画像をピックした場合は確認後登録を削除する。もちろん、二つボタンのマウスであれば、ボタン位置ではすべて決めることはできないから、シフトキーあるいはコントロールキーとの併用をすることになる。
【００２８】
次に、類似度の計算について説明する。類似度の計算は、検索サーバ１１０中で行われる。
【００２９】
本実施例では、色関連の画像特徴量として、画像中の色分布をヒストグラム化した特徴量、形関連の画像特徴量として、画像の輝度勾配ベクトルの方向成分の分布をヒストグラム化した特徴量を用いている。両者とも実数ベクトルとして表現されており、画像間の類似度は、これらのベクトル間の２乗距離をもとに定義される。次式は、ある与えらた画像(検索キー画像)と好きな画像パネル２３０に登録されたある画像（添え字ｉで表わす）との類似度を定義したものである。
【００３０】
【数１】
2006114053.tif 000003
【００３１】
２種類の特徴量についての２乗距離に重みを付けしたのち指数をとって類似度としている。式中の２つの重みパラメータは、好きな画像パネル上の特徴量重み付けスライダー５５０による設定で変更できる。
【００３２】
同様に嫌いな画像パネル２４０に登録された画像との類似度は次式で定義される。
【００３３】
【数２】
2006114053.tif 000004
【００３４】
与えられた画像と複数登録されたキー画像との距離は、各キー画像との類似度をもとに、以下のように構成される。
【００３５】
【数３】
2006114053.tif 000005
【００３６】
【数４】
2006114053.tif 000006
【００３７】
（数３）は、好きな画像との類似度、（数４）は嫌いな画像との類似度である。類似度計算パラメータに従って、計算方法は、最も類似したキー画像との類似度を用いる、全キー画像との平均的な類似度を用いる、最も類似していないキー画像との類似度を用いる、という３段階を連続的に変化する。この類似度パラメータは、特徴量への重み付けと同様、画像パネル上から制御される。これら２つの類似度をもとに、最終的には、次式のような類似度が定義される。
【００３８】
【数５】
2006114053.tif 000007
【００３９】
嫌いな画像との類似度に付加されている係数は、特徴量の重み付けが全体として小さい場合に嫌いな画像との類似度の効果を小さくするためのである。仮に、嫌いな画像パネル上で特徴量重み付けをすべて０とした場合は、嫌いな画像を登録した効果な無くなる。
【００４０】
可視化サーバ１２０は、定常的には、ＧＵＩクライアント１３０、検索サーバ１１０とは独立にフワフワ運動を生成し続ける。ユーザがウォークスルーすることに伴う可視化空間の変化は、ＧＵＩクライアントからの送られ制御情報によって引き起こされる。検索条件の変化に伴う可視化空間の変化は、図６に示すようなデータフローによって起こる。
【００４１】
可視化サーバ１２０は、可視化空間２１０上でユーザから画像パネルへの画像の登録要求を取得すると、その画像の登録をGUIクライアントに通知する６１０。GUIクライアント１３０は、可視化サーバ１２０から通知される画像パネルへの登録要求が、好きな画像パネル２３０あるいは嫌いな画像パネル２４０に対しての登録要求であった場合、検索サーバ１１０に対して検索条件の変更を通知する６２０。同様に、GUIクライアント１３０は、ＧＵＩクライアント自身が管理する画像パネル上でのユーザ操作に伴う、好きな画像・嫌いな画像の登録・削除、および、検索条件を指定するパラメータの変更が生じた場合も、検索サーバ１１０に対して検索条件の変更を通知する６２０。検索サーバ１１０は、ＧＵＩクライアントからの検索条件の変更通知を取得すると、類似度の再計算を実行する。GUIクライアント１３０は、検索条件の変更に伴う検索サーバ１１０内での類似度の再計算が終了したのを確認すると、可視化サーバ１２０に対して、検索サーバ１１０から再計算された類似度を取得するように通知する６３０。可視化サーバ１２０は、検索サーバ１１０から類似度データの取得し６４０、可視化空間２１０の表示の再構成を行う。可視化空間２１０の再構成が終了すると、可視化サーバ１２０は、ＧＵＩクライアント１３０に再構成の終了を通知する。可視化空間２１０の再構成を確認した後、GUIクライアント１３０は、通常のユーザからの入力待ち状態に戻る。検索サーバ１１０への検索条件の通知から、可視化空間２１０の再構成の確認までは、画像パネルのスクロール等の検索サーバ１１０および可視化サーバ１２０との通信を伴わない処理を除き、GUIクライアント１３０は、ユーザからの入力イベントを無視する。
【００４２】
以上のデータのフローを高性能のテクスチュアマッピング機能を持つグラフィックワークステーションで実現することにより、検索条件の変更とそれに伴う可視化空間内の表示の変化を、ユーザが連続的な事象として認識できるインターフェイスが実現される。
【００４３】
図７は、本発明をオンライン画像・映像コンテンツサービスに展開したときのシステム構成と運用を説明する図である。
【００４４】
本システムでは、ライセンスを受けた多数のユーザ７２０とコンテンツサービス業者７１０が、インターネット上で情報の授受を行う。各ユーザに対して、予め、コンテンツサービス業者自身、ないしは、ソフトウェア提供業者から、ブラウジングソフト７２１が提供される。サービス業者側には、大規模な画像・映像のデータベース７２２、それらの特徴量データベース７１２、ブラウジングソフト用のサムネール画像のデータベース７１３が存在しており、これらは管理サーバ７１４によって管理されている。
【００４５】
なお、映像に関しては、カット割りされた静止画に関する特徴量がデータベース化されている。
【００４６】
ブラウジングソフト７２１は、先の実施例での可視化サーバ１２０およびＧＵＩクライアント１３０と同様、仮想的３次元空間中の状態更新を実時間で行う。ユーザインターフェイス全体の構成は、先の実施例と同様である。
【００４７】
ユーザは、ブラウジングソフト７２１を立ち上げると、まず、ブラウジングする画像ないしは映像のカテゴリーを選択する。サーバ側では、予め各カテゴリーに対して複数のキー画像が典型画像の集合として用意されており、各画像には、この典型画像との類似度が登録されている。ユーザはこれらの情報を利用して簡単にブラウジングする画像ないしは映像のカテゴリーを指定することができる。管理サーバ７１４は、ユーザの選択を受信すると、選択されたカテゴリーに対応する画像ないしは映像のサムネール画像（映像の場合はカット割りされた代表画像のサムネール画像）、それらの特徴量、および、典型画像からの類似度を、類似度が高い順にユーザに送付する。ブラウジングソフト７２１は、可視化空間中の状態更新レート（１回の画面再構成のため時間）内に収まる範囲でデータを取得し、溢れたデータは次の状態更新時に取得するよう保留される。
【００４８】
ブラウジングソフト７２１は、ユーザから検索条件の指定（キー画像の登録、特徴量の重み付け指定等）を受け付けると、サーバ７１４に対して類似度の再計算を要求する。サーバは、再計算が終了すると、類似度の変化が大きい順序で、再計算された類似度データをユーザに送付する。この際に、ブラウジングソフトが以前取得したことがないデータについては、サムネール画像および特徴量も合わせて送付する。ブラウジングソフトは、再計算された類似度データを優先的に取得し、取得できず保留されていたデータは破棄する。この場合も、状態更新レートから溢れるデータは保留される。
【００４９】
以上の処理フローによって、ユーザは、実時間性を失うことなくサーバ側の画像・映像データベースをブラウジングすることができる。ブラウジングする中で、自分が欲しいと思うデータに出会ったユーザは、あらためて、データベース７１１中にある本画像、あるいは、映像の取得をサーバに要求する。サーバは、課金処理等を行ったのち、ユーザにそれらのデータを送付する。
【図面の簡単な説明】
【００５０】
【図１】本発明のシステム構成の一実施例を示す図。
【図２】ＧＵＩクライアントに提供されるユーザインターフェイスの具体例を示す図。
【図３】図２のユーザインターフェイスの具体例における操作パネルを説明する図。
【図４】図２のユーザインターフェイスの具体例におけるフワフワ運動設定パネルを説明する図。
【図５】図２のユーザインターフェイスの具体例における好きな画像パネル、嫌いな画像パネル及び収集画像パネルのそれぞれの構成例を説明する図。
【図６】図２のユーザインターフェイスの具体例におけるユーザの検索条件の変化に対応したデータの動きを説明する図。
【図７】図２のユーザインターフェイスの具体例をコンテンツサービスに展開したときのシステム構成と運用を説明する図。
【符号の説明】
【００５１】
１１０：検索サーバ、１２０：可視化サーバ、１３０：ＧＵＩクライアント、１３１：操作パネル、１３２：フワフワ運動設定パネル、１３３：画像パネル、１４０：画像特徴量データベース、１５０：画像データベース、２１０：可視化空間、２２０：操作パネル、２３０：好きな画像パネル、２４０：嫌いな画像パネル、２５０：収集画像パネル、３１０：視点初期化、３２０：フワフワ運動速度制御スライダー、３３０：フワフワ運動設定パネル表示、３４０：ウォークスルー移動速度制御スライダー、３５０：ウォークスルー首振り制御ボタン、３６０：ウォークスルー前後左右制御ボタン、３７０：ウォークスルー高さ制御ボタン、４００：フワフワ運動設定パネルクローズボタン、４１０：選択したステップの複製と削除ボタン、４２０：ステップの選択ボタン、４３０：各ステップの可視化座標系への特徴量軸の割り当てボタン、４４０：運動方向の選択ボタン、４５０：繰り返し運動（ループ）のオン・オフボタン、４６０：運動の再スタートボタン、４７０：軌道ファイルのファイルからの読み込みとファイルへの書き出しボタン、５１０：画像リストの表示パネル、５２０：画像リストの入出力ボタン、５３０：画像の全削除ボタン、５４０：類似度計算制御スライダー、５５０：色重み付け(Color)と形重み付け(Shape)スライダー、５６０：画像表示サイズの拡大縮小のためのスライダー、６１０：画像の登録、６２０：検索条件の更新、６３０：類似度データ取得要求、６４０：類似度データの取得、７１０：コンテンツサービス業者、７１１：画像・映像データベース、７１２：特徴量データベース、７１３：サムネール画像データベース、７１４：データベース管理サーバ、７２０：ユーザ、７２１：ブラウジングソフト、７２２：特徴量データ、７２３：サムネール画像。
【図１】
2006114053.tif 000008
【図２】
2006114053.tif 000009
【図３】
2006114053.tif 000010
【図４】
2006114053.tif 000011
【図５】
2006114053.tif 000012
【図６】
2006114053.tif 000013
【図７】
2006114053.tif 000014
【手続補正書】
【提出日】平成17年10月25日(2005.10.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検索サーバと可視化サーバとを備えるシステムにおいて実行される画像表示方法であって、
前記検索サーバは、入力された検索キー画像に類似する特徴量を有する画像を検索し、
該検索された画像ごとに該画像の特徴量を有する複数の画像データをデータベースに保持し、
前記可視化サーバは前記特徴量を割り付けた複数の座標軸を持つ可視化空間に前記複数の画像データをそれぞれの画像の特徴量に対応する位置に表示させるとともに、前記類似度に応じて該画像の大きさを制御して表示することを特徴とする画像集合の画像表示方法。
【請求項２】
前記可視化サーバは、前記各座標軸に割り付ける特徴量の時間軸の区間毎の設定および前記時間軸の区間の移動速度の設定に応じた表示プログラムを備え、
該表示プログラムが、前記可視化空間の座標軸の特徴量を時間とともに変化させて前記表示を行うことを特徴とする請求項１記載の画像集合の表示方法。
【請求項３】
前記画像データは画像自体および画像の縮小画像を持つ画像データであり、前記可視化サーバによる表示は前記縮小画像である請求項１又は２に記載の画像集合の表示方法。
【請求項４】
前記可視化サーバは、前記座標軸の特徴量を時間とともに変化させるとき、座標軸の特徴量の変化に応じて表示されている画像が座標系から次の座標系へ移行する間は、前記表示される画像の２つの座標系上での値を線形補間する請求項2又は３に記載の画像集合の表示方法。
【請求項５】
前記可視化サーバは、前記座標軸の特徴量を時間とともに変化させるとき、座標軸の特徴量の変化に応じて表示されている画像が座標系から次の座標系へ移行する間は、該画像の運動軌跡も表示する請求項２又は３に記載の画像集合の表示方法。
【請求項６】
前記画像表示装置はユーザの操作に応じた信号を取り込むためのＧＵＩクライアントを備え、前記可視化サーバは、前記ＧＵＩクライアントを介して与えられるユーザの前記座標軸の特徴量の変化速度の指示信号に応じて前記座標軸の特徴量の変化速度を変更する請求項２ないし５の何れかに記載の画像集合の表示方法。
【請求項７】
画像の特徴を示す特徴量と検索キー画像との類似度に応じた検索を行う検索サーバと、検索結果としての画像ごとに画像の特徴を示す特徴量を持った複数の画像データを保持する画像データベースと、前記特徴量を割り付けた複数の座標軸を持つ可視化空間に前記複数の画像データのそれぞれの画像の特徴量に対応する位置に表示する可視化サーバとを備え、前記可視化サーバは前記類似度に応じて表示画像の大きさを制御するとともに、前記可視化サーバは、前記各座標軸に割り付ける特徴量の時間軸の区間毎の設定および前記時間軸の区間の移動速度の設定に応じた表示プログラムを備え、
前記可視化サーバは、表示の開始操作に応じて、前記座標軸の特徴量を時間とともに変化させて表示することを特徴とする画像集合の画像表示装置。