「インタラクション2000」平成12年2月

意味を表現する空間上に，検索結果の画像群を表示する可視化インタフェース
武者義則，広地敦
新情報処理開発機構情報ベース機能日立研究室〒185−8601東京都国分寺市来恋ケ窪一丁目280（株）日立製作所中央研究所内
あら まし 検索結果を く意味軸 上の散布図として表現する類似画像検索システムを開発した。この意味軸 とは，あるキーワード
る。あらかじめ画像に添付されたキーワードとその画像特徴量との間の関係を重回帰分析により学習しておき，検索結果の画像間の違いを最も表現するキーワードを自動選択して，ユーザへ提示する。ユーザが提示されたキーワードから2つ選ぶと，検索された画像を，2つのキーワードの推定値を座標として可視化

空間上に配置し，散布図として表現する。本稿では，類似画像検索の結果の画像群に対する未学習データのキーワード推定を行い，その性能を評価したこと，および開発した2次元可視化インタフェースについて報告する。

Visuali2；ationinterfacedisplaylngtheretrieved ●imagesina2−D semanticspace
YbshinoriMUSHA，AtsushiHIROIKE
Information−BaseFunctionsHitachiLaboratory，RⅣCP（sha，he）＠crl．hitachi．co．jp

Abstract WbaredeveloplngaSimilarity−basedimageretrievalsystemwhichrepresentsretrievedim−
agesas ascatter diagramina semantic space．Anaxisofthespaceshowssuitabilitiesofakeyword
asslgnedtotheimages．Thesuitabilities areestimatedbylineartransformationofimagefeatures ofretrieveddata，andthecoe氏cientsofthetranSformationarelearnedbymultipleregressionanalysis．The

SyStemperformsinthefo1lowlngS．First，auSermakesimageretrieval．Thenthesystempresents
usersomekeywordsthatgivelargeVariancesoftheestimatedsuitablitiesambngretrievedresults．Next，
theusercanChoosetwoaxesfromtheglVenkeywords．Lastly，thesystemdisplaystheretrievedimages
inthesemantic呼aCeSpannedbytheaxes．W占examinedourmethodquantitativelybyuslngalarge
numberofsamples，eaChofwhichisapairofanimageandasslgnedkeywords．

1 はじめにならない。また，そもそも画像を検索しようと試みているユーザの判断自体が曖昧であることも大きな

近年，画像コンテンツビジネスやマルチメディア問題となっている。つまり，類似画像検索システム

情報を扱うデータベース業界での需要を背景に，画にとって，ユーザの感性や判断基準に則した適切な像自体の類似性に基づく画像検索に関する研究が盛

類似性判断ができるだけでなく，ユーザの曖昧な検んに行なわれている【3，4］。特に，検索システムに索意図を明確化するために，ユーザの試行錯誤を支

人間の判断を反映させるために，人間の感性や好み援する機能が重要である。

に基づく画像検索の研究［7，13】などが行なわれて以上の観点から，我々は類似画像検索の結果を可いる。しかし，検索システムの出力結果において，ユーザにとって望みの画像であると判断するのは，視化表示するインタフェースの開発に力を入れてきそのユーザであるべきで検索システム側であってはた。我々の可視化インタフェースは，類似画像の検ー205−

索結果の画像群において違いを最も表現する可視化の適合性が画像の座標となる2次元可視化システム

軸を構成し，2次元空間上の縮小画像の散布図としについて報告する。

て［10］，あるいは3次元空間の時空間パターンとして［6】，画像群を表現する。できるだけ多くの画像

2 画像特徴量や検索された画像群の多様な類似性をユーザに提供

本稿では，以下に示す特徴量を類似画像検索とし，ユーザを支援することを目的としている。

キーワード推定に用いた。

近年，我々の表現手法と同様の2次元可視化を行

2．1 RGB色特徴量

う研究［11］がある。検索により画像群が決まると，多次元尺度構成法によって一意に決定される画像配

画像の色分布を反映する色特徴量を構成した。RG−

置を，ユーザへ提供するインタフェースとなっていB色空間の各軸R，G，B軸をそれぞれ〃ム等分して，る。大量の画像を可視化すると計算量が急増する問
題点や，多様であるはずの画像間の類似性判断の1

昭個のボクセルを構成する。画像の各画素の色に従って，これらボクセルに投票することで各ボクセ

つのみをシステムがユーザへ提示するインタフェー

ルの画素頻度を算出し，色ヒストグラムを構成する。

スである点が，我々の目的に沿わないが，可視化に

これを全画素数で正規化することで特徴抽出を完了

人間の色判別能力が反映されるという特徴がある。

する。さらに，画像の全領域を縦と横それぞれ〃云一方，我々は，システムが判断の主体ではなく，分割してできる昭領域のそれぞれについて上記のユーザの認識能力を最大限に引出すことによって，特徴抽出を行う。ここで，凡＝4，Ⅳき＝4を採用

ユーザの判断を支援することが一つの目標である。

すると，1，024次元のRGB色特徴量が構成される。

以前，検索結果の画像群の特徴量を主成分分析し，2．2 微分方向特徴量

その主軸を可視化軸とする2次元可視化システムを開発した【10］。しかし，その主軸をユーザが選択

画像の形やテクスチャを反映する特徴量として微するというインタフェースにおいては，ユーザへ主分方向特徴量を構成した。まず180度をⅣd等分し軸を選ぶ動機付けを与えにくかった。だからこそ，ておき，方向毎の穐個のビンを用意しておく。カ

ユーザが積極的に可視化軸を選択できる 意味軸

ラー画像を輝度画像に変換し，各画素につきⅩ軸，の導入に大きな意義がある。また，画像間の多様な類似性を提示するという我々の目的からも，意味的

y軸の微分演算を行い勾配ベクトルを計算する。そな指標による可視化には意義がある。

勾配ベクトルの2乗ノルムを加算する。これを仝画の勾配ベクトルの成す角度に対応するビンに，その素について行うことで各ビン中の2乗ノルムの総以上の観点に従って，我々は，画像特徴量からその画像に関連するキーワードの適合性を推定し，そ量を算出する。そして全画素数で正規化し平方根をの推定値に応じて画像を配置する2次元可視化シスとることで特徴抽出を完了する。さらに，解像度がテム［9］を開発した。キーワードは画像特徴量から

1／20，1／21，…，1／2Ⅳr￣1の弗階層の輝度画像を用推定されるため，配置される個々の画像データはテ

意し，それぞれの全領域に対して，更に縦と横それ

キスト情報を持つ必要がない。

ぞれ〃β分割して昭領域を作成する。この解像度と領域分割で用意された叫昭画像に対してそれぞ

これに関連して，画像情報とテキスト情報を検索れ上記の特徴抽出を行う。ここで，〃d＝8，弗＝4，に統合的に使用する研究［1，2］を挙げることができ〃去＝4を採用すると，512次元の微分方向特徴量る。インタラクティブに画像検索とテキスト検索をが構成される。

繰り返すことにより効果的な絞り込みを行うが，被検索データはテキスト情報と画像情報の両方を持っ3 キーワード推定ている必要がある。そして，テキスト検索時にはテキスト特徴量のみを，画像検索時には画像特徴量の検索結果を可視化する際，検索結果毎にダイナみを用いるため，テキスト情報が少ない，若しくはミックに処理を行うために，高速処理が可能な重回存在しない画像データベースに，これらの手法を適

帰分析を採用した。しかし，このような線形処理で用するのは不適切である。

は，排他的論理和のような入出力関係のものは推定

本稿では，画像特徴量からのキーワード推定の性できないように，本質的に推定できないキーワードも存在すると思われる。そこで，画像特徴量からの能を評価したこと，および，推定されたキーワード−206−

キーワード推定に対してどれほどの性能をもたらす

また，代表キーワード（ⅠⅠ）や可視化キーワードかを評価した。本システムは，（Ⅰ）あるキーワード（ⅠⅠⅠ）を算出する際に用いる式がそれぞれ（4）式，（5）が添付されている画像（正解画像）の推定，（ⅠⅠ）任意式である。各キーワード毎にキーワード推定値の平の画像群全体を表現するキーワード（代表キーワー

均を（4）式で計算し，その値の大きいものが検索結ド）の推定，（ⅠⅠⅠ）任意の画像群内の違いを表現する

果画像群を代表するキーワードであると期待される。

キーワード（可視化キーワード）の推定，の3機能同様に，各キーワード毎にキーワード推定値の分散を持つ。（Ⅰ）は画像の可視化に使用され，（ⅠⅠ）（ⅠⅠⅠ）はを（5）式で計算すると，検索結果の画像群内の違い

ユーザへ画像群を特徴付けるキーワードを捷供するを表現する可視化に適したキーワードが得られるこのに使用される。特に（ⅠⅠⅠ）は可視化軸に設定するとが期待される。

キーワードをユーザへ提供するための機能である。

3．1 重回帰分析によるキーワード推定紳）＝ む0（た）＋支Tb（た）（4）碩た）＝（b（た））Teb（た）（5）

画像特徴量にて検索した画像群をキーワード的

ここで，支とeは画像群における特徴量の平均ベな軸で可視化表示するために，重回帰分析でのキーワード推定を検討した。重回帰分析の特徴は，線形

クトルと分散共分散行列である。綽）の値の大きな計算であるため，画像群のキーワード推定値の平均

キーワードを代表キーワード，裾（た）の値の大きなと分散を求める場合に，その画像群の特徴量の平均

キーワードを可視化キーワードと定義する。

と分散共分散行列を求めてから，全てのキーワード

3．2 実験方法

に対して適用することができる点である。これで計算量を削減することができる。また，キーワード毎

キーワードが付属している画像コンテンツとして，PhotoDisc社の24，728枚の画像を用い，画像に独立に計算できる点も重回帰分析の特徴と言える。

データベースを作成した。各画像からRGB色特徴

キーワードを学習する際の教師値を（1）式とおく。
これは画像宜に対するキーワードたに関する教師値

量（1，024次元）および微分方向特徴量（512次元）をである。

抽出し，主成分分析によりそれぞれで転／2次元に圧縮して，合計埠次元の特徴量データベースを作成
ド㈹付

机（た）＝

（1）

した。更に，画像データベースを奇数番目と偶数番
目に2分し，奇数番目をキーワード学習に用い，偶〈数番目を評価に用いた。

教師値机（た）の与え方を2通り用意する。一つは，

この画像データベースには，1画像あたり約20（㌔，㍑）＝（1−P（k），−P（k））としたModel−Aである。ここで，P（た）は学習時の画像群におけるキー個あまりのフリーキーワードが添付されている。そワードたの出現頻度であり，このとき，眺（た）の平均の総数は21，637個であるが，学習データである画

百（た）は0となる。また，これは2群の判別分析に帰像に付いているキーワードは16，170個である。そ着することが分っている。他方は，（㌔，㍍）＝（1，0）の内1個もしくは2個の画像にしか添付されていなとしたModel−Bである。

いキーワードは統計処理に向かないものとして，あらかじめ除外し，8，914個のキーワードを学習に用

重回帰分析によって，（2）式のように偏回帰係数いることとした。

が求められる。

まず代表キーワードの推定性能の評価方法を説明

bo（k）＝y（k）一夏Tb（k），b（k）＝C㌶c。y（k）（2）する。Model−A，Model−Bの手法に対して，ランダムに選んだ画像を検索キーとして実際に未学習の画

ここで，Ⅹ塩を画像豆の特徴量ベクトルとすると，像データを対象とした類似画像検索を行う。（4）式C昔諾は（Ⅹ豆）の分散共分散行列，C叩（た）は，†Ⅹ豆）から検索結果の画像群の代表キーワードの推定を全と（眺（呵）との共分散ベクトルである。更と謬（た）キーワードに対して行い，その推定値の大きい順には，それぞれ（Ⅹ豆），（眺（た））の平均である。さらに，

各画像のキーワード推定値抗（た）は，（3）式によっソートしておく。そして，検索結果の画像群に含まて求められる。これは，前述の（Ⅰ）に使用される。

れる複数のキーワードが，ソートされた全キーワー

ドの1位〜N位（Ⅳ＝2，5，10，20，…，10000）の中
訪（た）＝あ0（た）＋Ⅹ㌻b（た）

（3）

−207−

に含まれる個数を計測する。同じキーワードが含ま

れていればその個数を得点として，その中に実際に含まれていたキーワード群の得点をその中で可能な最大得点に対する比率で評価する。これを1，000
回の類似画像検索について平均し，グラフ化した（図1）。この得点は，検索結果の複数の画像に共通に多く含まれるキーワードほど高くなり，つまり代表キーワードとして相応しいことを反映する。

次に，あるキーワードにおける正解画像の推定性
能の評価方法を説明する。全画像について，1つの

10

1（X）

1∝氾

キーワードの推定値を求めてソートしておき，そのキーワードが添付された複数の画像が，1位〜N位

図1：ある順位までの得点比率（％）（Ⅳ＝2，5，10，20，…，10000）の中に含まれる個数を計測する。そして，そのキーワードが添付された画像数に対する，N位におけるその個数の割合（再現

表1：1／4以上の出現頻度のキーワード率）を仝キーワードに対して平均し，グラフ化した出現頻度 キーワード（図2）。また，1位〜N位の中に実際に含まれてい69．

た正解画像数を，その中で可能な最大個数に対する66．6％ Center

比率で評価する。これを全キーワードに対して平均

53．8％ horizontal

し，グラフ化した（図3）。

52．6％ vertical

本システムでは，画像群の可視化を行うためのキーワードを，（5）式の値が大きな可視化キーワー
ドからユーザに選ばせるようになっている。よって，

44．8％

white

40．0％

interior

31．2％ exterior

特に，画像群におけるキーワード推定値の分散が大28．0％ blue

きなキーワードについて同様の評価を行った。前述

27．3％ black

同様に，1つのキーワードの推定値を全画像について求めソートしておく。そして，そのキーワードが添付された複数の画像が，1位〜100位の中に含まワードを取り除いた評価を試みた。その結果が図1中れる個数を計測し，その中で可能な最大個数に対すの●る比率で評価する。これをキーワード推定値の分散が大きい順に，K個（∬＝2，5，10，20，…，10000）のキーワード群に対して平均し，グラフ化した（図4）。

Model−Awithoutthe9wordsと▲Model−

Bwithoutthe9words？，のグラフである。これによると，5位〜50位の順位において，Model−Bが著
しく正解率が低下しているのに村し，Model−Aは4〜9ポイント上昇しているのが分かる。5位以内を

3．3 実験結果と考察

比較すると，Model−Bが97％から4％へ急落してい図1は〃∫＝100の場合の代表キーワードの推定るのに対し，Model−Aでは，63％から67％へ上昇

性能を示している。○と△に注目すると，△ Model−

している。これにより●Model−Aと▲Model−BでB が10位以内において97％にも達しているのには，5位以内の点で約16倍あまりの性能差が見られ対し，○ Model−A では63％ほどしかない。

る。△ Model−B が前述の9個の高頻度キーワー

ところで，キーワード別に出現頻度を測定してみドが上位に入ることで，高正解率を出していたのにると，未学習画像において，例えば25％以上の出現

対し，○ Model−A は期待通り低頻度のキーワー

頻度のものが9個存在することが分った（表1）。このドの正解率も上位に維持していたことが分かる。

ような出現頻度の高いものは，多くの画像で上位にまた，図1の9キーワードを除いたグラフにおい推定される傾向があり，ユーザにとって情報量の少て，●Model−Aと▲Model−Bが20位〜30位でないキーワードであると思われる。そこで，これら反転しているが，上位のキーワードが重要であるこ

9個のキーワードの影響を確かめるために，それ以とと，実際のインタフェースにて提示する代表キー

外のキーワードの順位を保ったままその9個のキー

ワードの数が20〜30個程度であることを考える

−208−

P（％）
1α）

90
80
70
0

50
40
30
20
10
0
l

10

1（泊

10∝）

l0000
l

図2‥順位N位以内における平均再現率R（％）

10

1（X）

図4：N位までに正解画像が含まれる率P（％）：各キーワードにおいて，100位以内に正解画像が含まれる割合をそのキーワード推定値の分散が多い方か

らK個のキーワードについて平均した。

P（％）
l（X）

90
80
70
60
50

l

10

1（氾

1000

40
l（X伽

30
20

図3‥N位までに正解画像が含まれる率（％）

10
0

1

と，Model−Aの方が適切であると考えられる。

10

100

l（加

図5‥N位までに正解画像が含まれる率（％）：キー

図2は，Model−Aの各Niにおける平均再現率のワード推定値の画像群における分散が大きい50個グラフである。次元数を多くすると再現率も向上すのキーワードのみを平均した。

るが，既にほとんど飽和している様子が分かる。上位100位以内を正解とした場合の平均再現率は特徴ていき，精度を評価した（図4）。これによると，分量400次元でも13％程度である。
図3は，Model−Aの各NFにおける精度のグラフ

散が大きなキーワードのみで評価した精度の方が高である。この精度は，実際の可視化において配置さい数値を出す傾向がある。全キーワードで平均したれる画像群のキーワード推定の正確さを反映してい精度は，400次元でも14％程度であるが，上位10個る。従って，この精度が高いほど，可視化効果が向のキーワードでは約92％になっている。ただし，こ上すると考えられる。上位100以内を見ると次元数が多くなるに従い精度も向上するが，やはりほとんの結果は全画像に対しての分散であり，類似画像検索の結果の画像群に対しての分散とは必ずしも一致

ど飽和しているようである。100位における特徴量

しないが，1つの目安を与えるものと考えられる。

400次元の精度でも14％程度である。

上位50個のキーワードについて，図2と同様に再ところで，本システムにおいて，可視化の軸に用現率を評価すると，上位の順位についてわずかに低いるキーワードは，可視化した画像群が可視化空間

下する傾向が見られたが（図示せず），図3と同様に上で広く散らばるような可視化キーワードからユー

精度を評価すると，格段に向上する傾向が見られた

ザが選ぶようになっている。そこで，キーワード推（図5）。20位以内において，特徴量400次元で精度定値の分散が大きいキーワードから順に評価に加えが約78％となっている。

−209−

l∝X氾

4 可視化システム

ドを選ぶ機能を提供する。ここで選択したキーワー

ドに関して，画像群の可視化表示が行なわれる。

意味軸 を可視化空間の座標軸として採用した，

図6（d）は，スクロールバーの連続的な操作で，可類似画像検索のための可視化システムを開発した。
このシステムは，サーバとクライアントによって構

視化空間の拡大や縮小をする機能である。表示画像の大きさを一定にしたまま空間だけが伸縮するため，成され，サーバでは画像検索および統計処理などの画像の密度が変更される。拡大表示すると，例えば，

数値計算を行う。クライアントはJAVA7 〟で記述

キーワード推定値が近接しているため重なっている

され，主にユーザインタフェースとして画像やキー画像を分離することができる。

ワードの提示とユーザの操作をサーバに伝える機能

図6（e）は，可視化空間を移動する機能である○（d）を持つ。本システムに特徴的な機能は主に3つあり，の拡大縮小機能と組み合わせると表示画像群の任意

それぞれ第3章の機能（Ⅰ）（ⅠⅠ）（ⅠⅠⅠ）に対応している。

の領域に焦点を当てて詳細構造を見ることができる。
図6（f）は，データベース中の画像データ名を指定

4．1 可視化インタフェースの特徴することで，検索キーに使う例示画像を呼び出す機

意味軸 を利用した我々の2次元可視化インタ能である。画像データ名は，メニュー表示したディ

フェース（図6）には，以下の（a）〜（j）の機能がある。

レクトリの中から選ぶことができる。呼び出した例

図6（a）は，可視化空間であり，図のように検索結示画像群も検索画像群と同様にキーワードによって果の縮小画像を，キーワード推定値に対応した座標

可視化表示される。

へ配置する機能を持つ（Ⅰ）。可視化空間の座標軸の図6（g），（h）は，画像検索の類似度と表示画像のサ性質を画像自身によって示すことでより直感的な理イズとの対応関係を設定する機能である。これによ解を促すと期待される。マウスカーソルで次の検索

り画像の大きさで，そ甲類似性を表現することができる。図6（g）の横軸は検索結果の類似度，縦軸は変のキー画像を指定し，直に検索を実行することができる。また，矩形領域を指定することで，絞り込ん換された類似度を示す。（g）に示されているヒストだ画像群を可視化表示する機能も持つ。他に，マウ

グラムは，検索結果の類似度の分布を示している。
また，四角いボタンは，横軸から縦軸への射影を指定する連結直線の連結部を示す。この連結部の数や位置は任意に指定できる。検索数を限った場合，∵般に検索結果の類似度分布が偏る傾向がある。ヒス

スカーソルを任意の画像に合せてしばらく待つと，その高解像度な画像が表示される機能や，検索された画像群が見易くなるよう背景色を自由に設定する機能がある。また，原点を中心としてⅩ軸とy軸が目盛りのついたスケールが表示される。これはキートグラムを見てその範囲内に直線の傾斜が収まるよ

ワード推定値を測る目安となる。

うに指定すると，類似度の変化を敏感に画像サイズ

図6（b）と（c）の文字列表示部は，検索結果の画像に反映させることができる。また，図6（h）は，上群の違いを表現するキーワード（可視化キーワード）

記で変換された類似度を使って画像サイズを実際にを提示する機能である（ⅠⅠⅠ）。一般に，ユーザが任決定するための，2つのパラメータを指定するパネルである。横軸はフォーカス 恥cus げ），縦軸は意にキーワードを選ぶ機能があっても，実際に適切なキーワードを選ぶことは，キーワードが多いほど

密度 Density （D）に相応している。変換された類困難である。そこで，可視化に効果的なキーワード

似度（呵と画像サイズ（β）との関係をこれらのパラの候補を画像群毎に用意するのが本機能の目的であメータで記述すると（6）式のようになる。

る。あらかじめ登録されているキーワードの中から，キーワード推定値のその画像群における分散が高い

β（月）＝ β・がものが選ばれ，そのいくつかがユーザに提示される。

（6）

ただし，0．0≦ か ≦3．0，0．0≦F≦4．0

各軸，1度に5個のキーワードが表示される。（b）の上下，（c）の左右の矢印ボタンを押すことで，5個単かが大きくなると，全ての検索結果の画像サイズが位でキーワードを入れ替えることができ，キーワー

大きくなるため，画像群が混み合って表示される。

ド推定値の分散が大きい方から合計100個のキー

また，アが大きくなると，類似度に応じてその違い

ワードを提示することができる。図6（b）と（c）のが画像サイズに敏感に反映され，検索キーに近いも

文字列表示部はボタンでもあり，提示された100個

のに焦点をあててサイズを大きくしたように表示さのキーワードから，可視化軸として2つのキーワーれる。逆に，ダが小さくなると類似度によって画像−210−図6： 意味軸 を利用した可視化インタフェース

Sampleimages：（￠1996PhotoDisc，Inc．

図7： 意味軸 による可視化の例

サイズが変わりにくくなる。βやダの上限値は十分に画像サイズが調整できるように設定した。

図6（i）は，表示する画像数の上限を設定する機もノイズとして含まれているが，概して smiling能である。例示画像を表示する場合や，類似画像検と people の傾向を見てとることができる。ちなみ

索の結果を表示する場合の表示数を制限する。代表に，図3の評価法を1つのキーワードに対する精度

キーワードや可視化キーワードを推定する場合の画で行うと， Smiling と people のキーワード推定

像数も，この数が用いられている。

精度は共に約40％であった。また，両者のキーワー

図6（j）は，検索結果の画像群を代表するキーワー

ド推定に相関があることは，図中の画像群が右上あド（代表キーワード）をユーザへ提示する機能であがりの楕円の分布を持っていることからも分かる。

る（Ⅰ恥あらかじめ登録されているキーワードの中

4．3 本システムにおけるデータフロー

から，与えられた画像群の平均特徴量に対する推定値の高いものが選ばれ，その上位25個がユーザに本インタフェースを実現するシステム内のデータ提示される。0）のようにリスト表示されるが，こフローを図8に示す。まず，登録するキーワード毎のキーワードの一つをマウスでダブルクリックするに（2）式の処理により，．あらかじめキーワード偏回と，前述の可視化キーワードに同じキーワードが含帰係数データベースを作成しておく。

まれている場合に，Ⅹ軸（c）にそのキーワードが現ユーザからの検索要求＜1＞に従って類似画像検われ，かつ選択きれてそのキーワ」ドによる可視化

索＜2＞を行うと，画像特徴量データベースをスキャン＜3＞して検索結果＜4＞を出力する。その検索が行われる。

結果に対応する画像特徴量＜6＞から平均値と分散4．2 可視化インタフェースの表示例

共分散行列が計算される＜5＞。キーワード偏回帰

図7が，キーワード軸による可視化の例である。白係数データベースからキーワード1個分の偏回帰係丸で示した検索キーによる類似画像検索の結果（150数を取り出し＜9＞，画像特徴量の平均値と分散共画像）を可視化している。特徴量次元数〃よは100次分散行列＜7＞を使って（4）式と（5）式の演算を行元を使い，Model−Aによるキーワード推定で，Ⅹ軸い，キーワード推定値の平均値と分散値を出力するに smiling ，y軸に people を選んだ場合を示し＜10＞。これを全てのキーワードについて繰り返し，ている。図中に示した座標軸の原点は，2つの推定最大値から上位指定個数個だけキーワードをそれぞ値が0となるポイントであり，第一象限の右上になれ選択する＜11＞。平均値の大きなキーワードは代るほど，2つのキーワードを備えた画像が配置され表キーワード，分散値の大きなキーワードは可視化ると期待される。実際には，第一象般にも smiling

キーワードである＜12＞。それぞれをユーザに提示と people のどちらにも属さないと思われる画像

することで，意味情報をユーザに提供する＜13，14＞。

−211−

が相応しいこと，およびキーワード推定値の分散が大きいキーワードに限って精度を評価すると高い数値が得られることが分った。また，本インタフェー
スは，画像群を出力する任意の検索システムに適用可能であり，汎用性が高いと考えられる。
今回，処理の高速化のために重回帰分析を使用したが，更なるキーワード推定性能の向上に重点を置
いて，他の分析手法や特徴量を用いて性能を比較する必要がある。例えば，画像理解の研究において，
画像の分割ベクトル量子化により画像特徴量から

図8：本システムにおけるデータフロー

キーワードを推定する手法【8］が提案されており，
本インタフェースの可視化性能を向上させる可能性がある。

可視化キーワード＜14＞からユーザがⅩ軸，y軸として，それぞれキーワードを選択すると＜15＞，そ

参考文献のキーワードの偏回帰係数＜16＞と検索結果＜17＞［1】F．Chen，U．Gargi，L．NilesandH．Schutze：Multi−の画像特徴量＜18＞から（3）式が計算され，その値

ModalBrowslngOfImagesinWebDocuments，SPIE

を座標値として画像＜19＞を配置する。こうしてかoct〝乃e乃亡兄ecq伊仙i如れαnd月e古河eりαJV了，3651，pp．
122−133，1999．

意味軸 によって可視化された画像群がユーザヘ提【2］遠藤，指田，増本，長田，棚橋：画像情報とテキスト情報を統合的に利用したインタラクティブなⅥ侮b検索システ
ム，第5回知能情報メディアシンポジウム，pp，163−170，供される＜20＞。

ところで，本システムは類似画像検索の結果の画1999．

像群を対象として可視化することを想定していた。

［3】D．S．FaulusandR．T．Ng：AnExpressiveLangua．ge

しかし， 意味軸 による可視化システムの特徴とandInterfaceforImage Querying，Machine Vision
αndApがねα如耶，10，pp．74−85，1997．

しては，検索結果とは限らず任意の画像群に対して【4】M．Flickner，H．Sawhney，etal．：QuerybyImageandVideoContent：TheQBICSystem，IEEECo77q）uter，
28，9，pp．23−32，1995．

可視化できることに気づく。実際，本システムは検索のキー画像を選ぶために，初期の例示画像を表示する機能があり，その例示画像群を 意味軸 上で［5］A・GuptaandR．Jain：VisualInformationRetrieval，Comm肌盲cα如れβ扉兢eAC〟，40，5，pp．71J79，1997．

可視化している。

［6］A・Hiroike，Y．Musha，A．Sugimoto，and Y．Mori：
Visuali2；a．tion ofinformation spaces to retrieve andbrowseima．ge data，T71irdInternationalCol癖rence
OTlⅥβuαJJゆmd−わn勒βねmβ，pp．155−162，1999．

つまり，本可視化機能は本質的に，画像群を出力する任意の検索システム（キーワードによる画像検索，文章による画像検索など）上に適用することが［7】蔭山，斎藤：ニューラんネットワークを用いた感性の学習機能を持つ画像検索システム，第3回知能情報メディアシ
ンポジウム，pp．253−258，1997．

可能であり汎用性が高い。本来，画像の検索機能とは独立な可視化機能であると言える。

［8】森，高橋，岡‥単語群付き画像の分割ベクトル量子イヒに基づく画像理解，信学技報，PRMU99−47，pp．73−80，1999．

5 おわりに［9〕武者，広地：類似画像検索における検索結果の可視化イン
ターフェースー可視化軸として意味軸を用いる方法−，信学技報，PRMU99−57，pp．59−64，1999．

類似画像検索のためのエーザインタフエースとして，可視化の軸にキーワードを使うシステムの開［10】武者，広地，杉本：類似画像検索における特徴量空間の可視化インタフェース，信学論，J82−D−ⅠⅠ，10，pp．1626−1633，
1999．

発を行った。このシステムでは，検索の結果得られた画像に対して，ダイナミックに可視化軸および代【11】Y・Rubner，C・Tomasi，and L．J・Gauibas：Adap−
tive Color−Image Enbeddingsfor Database Naviga−tion，IEEEACCV98，pp．104−111，1998．

表キーワードとして相応しいキーワードを提示し，ユーザが選んだ可視化軸のキーワードに従って，2［12】Y．Ta．kane，F・W．Young，andJ．Leeuw：Nonmetricindividualdi鮎rencesmultidimensionalscaling：anal−

次元の散布図として検索結果を提示する。キーワー
ド推定に線形で高速処理が可能な重回帰分析を用

ternatingleast squaresmethodwithoptimalscalingい，代表キーワードの推定性能および可視化におけ鎚at11reS，PβyC九omeか兢α，42：7−67，1977．

るキーワード推定性能を評価した。その結果，代表【13】田辺，大谷，石井：多次元心理空間を用いる類似画像検索法，信学論，J75−D−ⅠⅠ，11，pp．1856−1865，1992．

キーワードの推定には判別分析に帰着するModel−A−212−