「インタラクション2000」平成12年2月

類似画像検索のための可視化とウオークスルー
VisualizationandWalk−ThroughforSimilarity−BasedImageRetreival
広地敦 武者義則
AtshushiHiroike YoshinoriMusha
情報ベース機能日立研究室
Informa七ion−Ba）SeFbnctionsHitachiLaboratory，RWCP（he，Sha）◎crl．hitachi．co．jp
テツプ間の位置は，線型補間によって定義する．実際の3次元座標値は，検索結果集合における特徴量分布の統計量に基いて構成される．画像特徴量に基いた運動軌道を用いた場合，各画像は，基本的には独自の動き方をするが，類似性が高い画像どうしは，互いに引き付けあつような形で，やはり類似した動き方をする．結果として，画像の分布全体は，「有機的な運動性を印象として与える時空間パターン」として表現される．図1の例では，キー画像は不動で，検索結果だけが，最も近いと判断されたキーの周辺を漂うように運動している．
図1の左下にあるパネルは，可視化表示のコントローeSampleimages㊤1996PhotoDisc，Incルを行なうためのものである．図1−bのボタンの列には，運動軌道が現在どのステップにあるかが示される．ユー

図1：エーザインタフェイスの表示例．

ザは，このボタンを押すことによって，運動軌道上の任意のステップに表示をジャンプさせることができる．その1．はじめにすぐ下のスライダ（図1−C）は，運動の速度を決めるコントローラである，そのまた下のスライダ（図1−d）は，運動を画像自体の持つ類似性に基づいて画像検索を行うシス一時的に停止させている場合に，相前後するステップ間のテムが，近年，数多く発表されている．我々は，特にエーザインタフェイスの問題に焦点を当てて，類似画像検索を行なうプロトタイプシステムの開発を行なっている．我々のシステムの基本的な特徴は，画像検索の結果を，画像特徴量から構成される空間上に可視化する点にある［1］，【2】，［3］・今回述べるシステムでは，検索結果の分布は，画像特任意の時点に表示を移動させるためのものである．同じパネル上にある矩形のGUI部品（図1−e）は，類似度と画像表示の大きさとの関係を設定するためのコントローラである．このシステムでは，高類似度の検索結果は，3次元オブジェクトとして大きく，低類似度の結果は，小さく表示される．図1−eの横軸が類似度の効果，縦軸が全体的徴量から構成される3次元可視化空間中の時空間パターな画像のスケールに対応する．ユーザは，矩形領域中の点ンとして表現される．本稿では，このシステムにおけるを移動させることによって，例えば，表示を絞り込みたいエーザインタフェイス機能の概要を紹介する．

なら類似度効果を強める，といったように，類似度と表示の大きさの関係を自由に設定することができる．

2．可視化表現
新たなキー画像の登録は，通常は可視化空間内の画像
図1は，我々のシステムの表示例である．右上のパネをクリックすることによって行なう．可視化空間中に浮ル（図1−g）に表示されているのがキー画像，背景に拡がぶ画像をキー画像としてiリックすると，その画像は，次るのが検索結果が表示される「可視化空間」（図トa）であ第に大きくなりながら，類似した画像を従えて，それまでる．この例では，約10万件のコンテンツから，類似度が高属していた画像分布の島を離れていき，新たな島を形成す

い上位2000件の検索結果が，最も近いキー画像の周りにる．一方，キー画像の削除は右上にあるパネルの上で行な島を作るような形式で表示されている．

う．ある画像をキーから削除すると，そのキー画像に対応

このシステムでは，各画像は，独立な運動軌道を持つ

する島に属する各画像は，次第に小さくなりながら，以前オブジェクトとして扱わる．各運動軌道は，3次元座標値の時系列として定義される．系列中の各3次元座標値が，属していた島に戻っていくか，ないしは，どのキー画像にある時間ステップでの画像の座標値を表し，相前後するスする．

も類似していない画像については，可視化空間から消滅−39−

は，制御対象となるオブジェクトを切り替えるためのトグルボタンである．その周囲にある8つのボタンは，左右，上下，および，斜め方向の回転のためのボタンで，制御対象に応じた回転を行なう．その左の縦に並んた2つのボタンは，Z方向移動（前進・後退）用のボタンである．ユー
ザは，カニの視点からカメの動きを眺めつつ，カメの動きを制御することができる．これによって，画像分布を眺めるのに適切な可視化空間中の任意の位置へと，カニの回転の中心を設定することが容易に行なえる．
実際に，カニ・カメを操作してウオークスルーを行なっ
図2： カニと カメ （ ααが，and mγ批，，）．ていくと，互いの位置および姿勢の相相関係は変化していく．カメの視点では，通常の場合カニをすぐに見失う．一方，カニの視点でも，カメは常に見えてはいるが，姿勢は3．ウオークスルー機能

必ずしも一敦しない．カメの制御をする場合，これだと不VRMLブラウザ等が提供するウオークスルー機能と都合な場合もある．このような場面に対応するために用して一般的なのは，自己中心的な回転（首振り）に基づく意されているのが，図1−iのパネルの右下にある小さなボ

視点移動機能と，ある原点を中心に空間の側を回転させるタン（図中ではカニが表示）である．これは，制御対象の機能である．前者は，空間中を自由に動き回るのに通した回転についてのショートカット機能を与える．制御対象ものであるが，空間中のある対象の全体像を眺めようとしがカメの場合に，このショートカットボタンを押すと，カた場合は不便である．一方，後者は，空間中の特定の限らメは，カニの姿勢とz方向が反転した姿勢（カニに面したれた対象を眺めるのには適している．ただし，我々のシス姿勢）へと，まず回転する．以降，ショートカットボタン

テムでのように，表示内容が多様に変化する場合，回転中を連続して押すとz方向の反転に伴う回転が順次起きる．

心をどう設定するか，という問題が出て来る．我々は，こ一方，制御対象がカニの場合は，カニは，カメの姿勢と全れら2つのウオークスルー機能を直感的に理解できるよく一致した姿勢へと回転する．カニは，公転運動をする．よ

うな形で統合し，かつ，高機能化した，以下のようなユーうに回転するので，実際には，これは，カメの後側に回りザインタフェイスを開発した，込むような運動となる．連続してショートカットボタン

可視化空間中には， 力ご，と カメ と名付けられたを押すと，カメの場合と同様，Z方向の反転が起き，カメ2つのオブジェクトが存在する（図2）．これらは，異なるの前（後）に回り込むような動作を行なう．なお，これら視点およびウオークスルー機能を持っている．カメは，通の回転運動は，すべて，1軸を中心とした連続的な回転運常のウオークスルー機能を表現したオブジェクトで，自己動として実現されている．

中心的な首振り回転（図2−a）を行うことによって，任意カメのみが持つ機能としては，画像へのジャンプ機能の方向に移動できる（図2−b）．一方，カニは，カメを中心がある．ユーザは，可視化空間中の画像をクリックすることした公転運動を行う（図2−C）．カニは，常にカメに面し，とによって，好きな画像の位置へとカメを飛ばすことがでカメとの距離を一定に保ちながら，カメの移動を追随するきる．

（図2−d）．カニ自体が自発的に行なえる並進移動は，カメへの接近，あるいは，カメからの逃避のみである（図2−e）．

参考文献

図1のbとiが，これらのオブジェクトを操作するた【1］武者，森，広地：大量画像を対象とする特徴量空間のめのパネルである・図1−hのパネル中央にあるボタン（図可視化，第3回知能メディアシンポジウム，30ト308，中ではカニのマークが表示）は，視点切替用のトグルボタ

1997．

ンで，可視化空間の表示をカニの見え，あるいは，カメの［2】広地，武者，杉本：VR空間を用いた画像特徴量空間の見えに切り替える．その周囲にある央印が付いた8つの可視化一画像データベースの検索・ブラウジングのた

ボタンは，現在の視点における（諾，y）平面上の並進移動のめのエーザインタフェイス，信学技報，PRMU98−86，ためボタンである．ただし，カニ視点の場合は，カニ自身

17し24，1998．

は，定義より自由な方向転換ができない．従って，カメが，［3］Hiroike A．，Musha，Y．，Sugimoto，A．and Mori

まず，カニの（∬，y）平面上の指定された方向に回転する．

Y・，

その後，カメが前進し，カニがそれを追随することによっVisualizationofinformationspacestoretrieveandbrowseimagedata，て，視点の並進移動は実現される．

ThirdIn士ernationalCon−

ference on Visual坤rmalionSystems，Springer−

図1−iは，オブジェクトの回転およびz方向の移動のVerlag，155−162，1999．

ためのパネルで，中央にあるボタン（図中ではカメが表示）−40−