論文

CAT:大量画像の一覧可視化と詳細度制御のための GUI
五
ジ

味
ア

愛†
リ††

宮 崎

麗 子†

伊 藤

貴 之†（正会員）† お茶の水女子大学大学院†† ペンシルバニア州立大学〈あらまし〉 本論文では，大量画像のクラスタリング手法，およびその一覧表示と詳細度制御を持ち合わせた可視化手法 CAT(Clustered Album Thumbnails) を提案する． CAT は，前処理として大量画像を多段階にクラスタリングし，各クラスタから代表画像を選出する．そして構築された階層構
造を，階層型データ可視化手法「平安京ビュー」を用いて表示する．CAT の特徴は，ズーム率に合わせた詳細度制御を設けている，という点である．ズームアウト時には各クラスタの代表画像を表示し，ズームイン操作によって局所的に各々の画像を表示する．この操作により，人間の視覚能力とディスプレイの解像度に応じて表示枚数を調節し，大量画像中の注目部分をスムーズな操作で可視化できる．
キーワード：階層型データ可視化，画像閲覧システム，詳細度制御，長方形充填．
〈Summary〉 This thesis proposes CAT (Clustered Album Thumbnail), a technique for clus-

teringand browsing large number of images. It also provides a user interface for controlling
the level of details.
As a preprocessing, CAT ﬁrst hierarchically clusters images and selects representative images
for each cluster. And then, CAT visualizes the tree structure applying a hierarchical datavisualization technique HeiankyoView. As a characteristic of CAT, it provides a graphicaluser interface for the zooming operation to eﬀectively browse images. It selectively displays
representative images while zooming out, or individual images while zooming in, by the mouse
operation. This feature realizes high frame rates, and display of adequate number of images.
Key words: Hierarchical data visualization, Image browser, Level-of-detail control, Rectangle
packing.

1. は じ め に画像を目にすることがある．これらのシステムでは，ファイル名順，撮影時刻順，閲覧回数順，といった 1 次元的

デジタルカメラの普及により近年，簡単にデジタル画

な順列に基づいて画像を整列表示することが多い．それ像を作成することができるようになった．それゆえ，画に対して我々は，大量の画像を分類保存している機会が像を扱うさまざまな分野において，大量の画像が蓄積さ多い．そのため，順列よりも分類に基づいて大量の画像れている．そのため，それら大量画像の分類，閲覧，検を閲覧できるシステムが有用である，という場面も多い

索のための画像閲覧システムの必要性が増している．

と考えられる．これは例えば，個人写真の多くは計算機

我々はしばしば，個人写真を扱った画像閲覧ソフトや，上でフォルダごとに分類されていること，また医用画像

インターネット上による画像検索サイトなどで，大量のやリモートセンシングなどの分野で画像の自動分類技術が多用されていること，などからも明らかである．

“CAT: A Graphical User Interface for Visualization andLevel-of-Detail Control for Large Scale Image Collections”

我々は，計算機に蓄積された大量画像をどのように探by Ai GOMI, Reiko MIYAZAKI, Takayuki ITOH, (Mem-索するか，といった点について予備調査を行い，以下のber), (Graduate School of Humanities and Sciences, Ochan-

ような結果を得た．

omizu Universityshi), and Jia LI, (The Pennsylvania State
University).

1108

論文：CAT:大量画像の一覧可視化と詳細度制御のための GUI• ファイルの探索操作に関する質問について，回答者の 83%が，ファイルシステムのフォルダを上位から

Zoom Out

探索する，あるいは特定フォルダに保存されている
画像ファイルを順に閲覧する，などの形でファイルシステムの探索 GUI を利用している，と回答した．

• ファイル探索の手がかりとして何が最重要か，という質問に対して，回答者の 50%がフォルダ名などのキーワードと回答し，50%が撮影日時や撮影場所などのメタ情報と回答した．

• 画像内容（色分布や構図など）はファイル探索の手がＦＦ

かりとして有用か，という質問に回答者の 100%が，有用だがキーワードやメタ情報より重要度が低い，と回答した．
この予備調査結果を踏まえて本論文では，キーワードやメタ情報だけでなく画像内容にも基づく画像のクラスタリング手法，およびファイルシステムと同様に階層構造化された大量画像群の一覧表示と詳細度制御のためのインタフェースを持ち合わせた，可視化手法 CAT(ClusteredAlbum Thumbnails) を提案する．
各画像に 1 個以上のキーワードが付与されていると仮定した上で，まず CAT は前処理として，キーワードとＦ

Zoom In

画素情報から 2 段階クラスタリングを適用し，画像群を階層的に分類するとともに，各クラスタに対して代表画像を選択する．また，キーワードにおけるクラスタリン
グを行う際に，2 種類のクラスタ構築方法を搭載し，画像閲覧の用途に合わせていずれかを選択できるようになっ

図 1 CAT の概観．
Fig. 1 Overview of CAT.

ている．1 つ目の方法は，GUI でキーワードを選択させ，操作によって，直観的に画像を絞り込みながら閲覧でき特定キーワードを含む画像群からクラスタを構築する方

るだけでなく，人間の視覚能力とディスプレイの解像度法，2 つ目の方法は，画像群全体からクラスタを構築するに応じた適切な枚数で画像を表示できる，という点が特3)4)方法である．続いて CAT は，「平安京ビュー」 という徴としてあげられる．また，この詳細度制御において重大規模階層型データ可視化手法を用いて，図 1 に示すよ

要な点は，各クラスタを表現する領域が，代表画像の縦うに，各クラスタを示す長方形領域ごとに画像群を表示

横比に同等な形状の長方形で表現される，という点であする．さらに CAT では，ズームアウト時には長方形領る．これにより，画像本来の縦横比とほぼ同等な形状で域に代表画像をマッピングして表示することにより，大代表画像を表現できる．先行研究の中でも PhotoMesa1)

量画像全体のサマリーとなるような表示結果を提供する

は，CAT と同じくクラスタごとに長方形領域を生成し(図 1(上) 参照)．そしてズームイン操作に伴って，CATて画像を表示する手法であるが，これに対して CAT は，は低階層クラスタの代表画像を表示する (図 1(中) 参照)．

クラスタを表現する長方形領域の形状を制御できること，

さらにズームイン操作を進めることで，CAT は低階層ク

不均一な深さをもつ階層構造にも対応できること，など

ラスタの各々の画像サムネイルを表示する (図 1(下) 参の点で優位性があると考えられる．

照)．このように，ズーム率に基づく詳細度制御によって

2. 関 連 研 究

CAT は，クラスタリング結果全体の概略表示と，クラス
タリング内部の局所表示を，シームレスに実現する．

2.1 画像検索

大量画像の一覧表示ブラウザに関する先行研究1)5)11)

有名な画像検索エンジンの多くは，ウェブページ上にと比較して，CAT は階層化された画像群に対するズーム

あるテキスト記述を参照して画像に注釈をつけ，その注1109

画像電子学会誌 第 34 巻

第 6 号（2005）

釈に基づいて検索結果を提供する．しかし，これらのテ

2.3 階層型データの可視化

キスト記述から，必ずしも画像の内容を適切に解説する

階層型データの情報可視化手法の中でも有名なものに，注釈が得られるとは限らない．よってこの仕組みでは，満木を表示する手法と，画面空間充填による手法があげら

足な検索結果を得られるとは限らない．

れる．CAT は画面空間充填による手法に属する．

そこでこの問題を解決するために ，画像内容検索

CAT は画面空間充填による階層型データ可視化手法(CBIR) の研究が取り組まれている． CBIR 関係技術の

3),4)「平安京ビュー」
をベースにした手法である．
「平安京

多くは，画像の特徴量に基づいて画像内容を検索する．参ビュー」では図 2 のように，入れ子型の長方形の枠で階層

考文献10)では，CBIR において色からの特徴量，続いてを表し，葉ノードをアイコンで表示する．
「平安京ビュー」

周波数特性から得た特徴量が頻繁に使われていると報告

は階層構造の最下位に属する葉ノード群を，クリックししている．CAT においても，色と周波数特性から得た特やすく等しいサイズのアイコンとして，しかも互いに重徴量を画像クラスタリングに用いている．

ならずに表示できる，という特徴がある．このアイコン

一方でここ数年，画像内容に基づく自動画像注釈の研8)を画像サムネイルに置き換えることで，CAT は大量の画究が活発であり ，画像検索エンジンの問題点を解決し像を，等しいサイズで互いに重ならずに一覧表示できる．

うる技術として注目されている．CAT では画像にキー

また「平安京ビュー」を用いることで，複数のクラスタ

ワードが付与されていることを前提としているが，自動に属する画像群を同時に表示できる．よって，従来のファ画像注釈技術が充実すれば，画像へのキーワードも自動

イルシステムと同様な表示法では困難であった，周辺ク付与できることが期待される．

ラスタ (類似クラスタ) との画像の比較が可能となる．

2.2 大量画像ブラウザ

2.2 節で紹介した PhotoMesa1)が用いている Quantum

ウェブサイトの画像検索エンジンなどの検索結果を表

Treemap2)も，画面空間充填による階層型データ可視化手

示するインタフェースの多くは，検索結果である画像群法であり，「平安京ビュー」に類似した特徴を持つ．文献4)を，単純に類似性の高い順に並べて表示する．それゆえ，では Quantum Treemap と「平安京ビュー」の比較評価

この種のインタフェースでは，ユーザの望む画像を常に結果を掲載している．この比較評価結果において「平安京

効果的に素早く見つけられるとは限らない．この問題をビュー」は，類似する階層型データのレイアウトの安定性解決する一例として Kang らは，さまざまな質問入力機と，長方形領域の縦横比において，よい結果を得ている．

能や詳細表示表示機能を搭載した，大量画像の検索用ブ

また Quantum Treemap と違って「平安京ビュー」は，ラウザを提案している6)．

不均一な 2 段階以上の階層を有する任意の階層構造を表現

大量画像ブラウザに関する研究の多くは，画像間の類似性を考慮した画像サムネイルのレイアウトに着目してできる．これらの長所は，そのまま CAT の PhotoMesa
に対する優位性としてあげられる．

いる．その中でも初期の多くの手法では，多次元尺度構

なお，文献3),4)で述べるように「平安京ビュー」は，画

成法 (MDS) や主成分分析 (PCA) を活用し，低次元ユー

像配置の理想位置を記述したテンプレートによって，長クリッド空間に画像サムネイルを配置する．

方形の位置を操作する機能を有する．これを活用するこ

木構造やグラフ構造などを対象とした情報可視化技術のいくつかは，大量画像ブラウザの研究にも適用されとで，視覚的類似性の高い画像を画面上の近い位置に配置する，といったことも実現可能である．

ている．Jankun-Kelly らは，局所拡大表示型のグラフ

3. CAT の処理手順

レイアウト技術を大量画像ブラウザに適用している5)．

Bederson らは，2.3 節で紹介する Quantum Treemap2)という階層型データ可視化手法を採用した大量画像ブラ
ウザ PhotoMesa1)を提案している．

3.1 概要CAT はまず，以下の 2 段階処理によって画像をクラスタリングし，多段階の階層構造を構築する．

画像注釈に基づく大量画像の閲覧手法として，Yang

1. まずキーワードに基づいて画像をクラスタリングすらは SIB(Sementic Image Browser)11)を提案している．

る．この処理結果として得られるクラスタを，高階SIB では画像の木構造化やグラフ化は実現しておらず，

層クラスタと称する．

Yang ら自身も画像の階層化や詳細度制御表示を今後の課題と位置づけている．
これらの関連手法と比べて CAT は，任意の階層構造に基づいて画像群を表示できるので，より直観的な画像探索が実現できると考えられる．

1110

2. 各々の高階層クラスタに属する画像を，画素情報でクラスタリングする．この処理結果として得られるクラスタを，低階層クラスタと称する．

CAT は上記の手順で階層構造化された画像群を，「平
安京ビュー」と同様に，入れ子状の長方形領域の集合で

論文：CAT:大量画像の一覧可視化と詳細度制御のための GUI

図 3 キーワード選択画面．

ト S を，以下のように示す．ここで M は，ユーザが選
図 2 「平安京ビュー」の概観．
Fig. 2 Overview of HeiankyoView.

択したキーワードの数を示す．

S = {s1 , ..., sM }, si ∈ V表現する．そしてズームアウト時には各クラスタの代表
画像を長方形領域にマッピングして表示し，ズームイン
時には各クラスタ内の各画像を表示する．
なお CAT では，以下の 2 種類の高階層クラスタ構築
方法を搭載し，画像閲覧の用途に合わせて両者のいずれかを選択できるようになっている．

(2)

ユーザがキーワードを選択すると CAT は，動的にユーザが選択したキーワードを含む画像の部分木を生成する．

Wi を構成するキーワードの最低 1 個が，S を構成する
キーワードの最低 1 個と一致した場合，クラスタ Ci を部分木に取り入れる．さもなければ，Ci は部分木に取り入れられない．以上の方法により構築された部分木によ高階層クラスタ構築方法 (1): 全く同一なセットのキー
ワード群を有する画像を同一クラスタに格納し，GUI でキーワードを選択させる方法．特定のキーワードで絞り込みながら画像を探索する目的に向いている．

る階層構造を画面表示することにより，少数に絞られた画像群が表示の対象となる．よってこの方法を用いることで，画像探索所要時間の短縮が期待できる．
ただし，キーワードの総数が膨大になった場合，各画高階層クラスタ構築方法 (2): キーワード間距離を算出
し，距離の近いキーワードを有する画像群を同一クラス
タに格納する方法．各クラスタの保有画像数が均一になるようにクラスタリングを行うことで，クラスタの視認性を高め，画像群の階層構造全体の見渡しをよくすることから，画像群全体から注目画像を探す目的に向いている．
以下，CAT を構成する各処理工程について論じる．

3.2 高階層クラスタ構築方法 (1)

像に多数のキーワードが付加されている場合や，あるいはユーザが多数のキーワードを選択した場合においては，
クラスタ数が極めて多くなってしまうことが懸念される．
解決の一手法として，3.3 節に述べるクラスタの再帰的合併法を組み合わせるなどして，クラスタを併合することが考えられる．今後の課題として検討したい．

3.3 高階層クラスタ構築方法 (2)
この方法では最初に，文献9)と同様な手法で，キーワー

この方法では，初期画面として，キーワードと一緒に代表画像を表示させたキーワード選択画面を設ける (図3)．このキーワード選択画面において，ユーザはマウス操
作によって 1 個以上のキーワードを選択するものとする．

ドに基づく画像間の距離を定義する．ここで画像 Xi のキーワードセットを Wi とし，以下に示す．

Wi = {wi,1 , ..., wi,mi }, wi,j ∈ V(3)

この方法では，全く同一のキーワード群を有する画像

なお mi は，画像 Xi に割り当てられたキーワード数でを同一クラスタに格納する．このとき，クラスタに属すある．このとき，2 画像 Xi と Xj の距離を，以下の式9)る画像数に制限を設けない．ここで，クラスタ Ci のキーによって算出する．

ワードセット Wi を，以下のように示す．

Wi = {wi,1 , ..., wi,mi }, wi,j ∈ V

Dw (Wi , Wj ) =(1)

ここで V は画像群に用いられる全てのキーワード，wi,jmi
1 dw (wi,k , Wj ) +2mi k=1
mj
1 
dw (wj,l , Wi )2mj l=1(4)

は Wi の j 番目のキーワード，mi はクラスタ Ci のキー

ここで，Dw は 2 つのキーワードセット Wi と Wj 間のワード数を示す．また，ユーザが選択したキーワードセッ

距離，dw (wi,k , Wj ) はキーワード wi,k とキーワードの1111

画像電子学会誌 第 34 巻

第 6 号（2005）

セット Wj の間の距離を示している．我々の実装では，

最大余弦値が閾値より小さくなるまで反復される．このソフトウェアパッケージ WordNet Similarity 1) によっ

過程で前節と同じように，各々の低階層クラスタに属すてキーワード間の距離を算出している．

る画像数の均等化を試みる．

続いて，この方法では，画像間の距離に基づいて，画

3.5 代表画像の選択

像をクラスタリングする．ここではボトムアップ形式のクラスタリング完了後に CAT では，高階層クラスタ，

リンケージクラスタリングアルゴリズムを使用する．た

低階層クラスタ，の両方に対して代表画像を選択する．現

だし CAT では，各々の高階層クラスタに属する画像数

時点で我々は，以下の 2 種類の選択方法を採用している．

の均等化を試みるために，クラスタリング過程において以下の処理も同時に行う．

1 つ目の手法は，画素情報に基づく手法である．特徴ベクトル空間のクラスタの中心に最も近い画像が，クラここで，s1 < s2 となるような閾値 s1 と s2 を定義する．あるクラスタに属する画像数が s1 よりも少なかっスタの平均的な画像であるといえるので，その画像はクラスタの代表として望ましいと判断できる．

たら，CAT では積極的に他のクラスタと合併させる．一2 つ目の手法は，キーワードに基づく方法である2) ．こ方，あるクラスタに属する画像数が s2 よりも多かった

こで，キーワード wi,j を持つ画像の数を ki,j とする．こら，そのクラスタはこれ以上の合併を避ける．そして，クのとき ki,j が他よりも大きければ，wi,j は重要なキー

ラスタ間の最小距離値が閾値を超えるまで，距離が最小

ワードと想定できる．よって ki,j は，クラスタ内のキーであるクラスタを再帰的に合併する．

ワードの重要度を表すと考えられる．ここで以下の式に

3.4 低階層クラスタ構築方法

より，画像 Xi のキーワードの重要度合計を定義する：

CAT では，キーワードに基づいて生成された各クラス
タ内の画像を，画素情報に基づいて再度クラスタリング

Ki =

mi


ki,j

(6)

j=1

する．我々の実装では，色情報および周波数情報に基づ

多くの場合において，Ki 値が最大である画像は，クラス

く特徴量から，各画像の特徴ベクトルを算出し，そのベタの特徴を表していると言えるので，その画像はクラス

クトル間の余弦に基づいてクラスタを生成する．色情報

タの代表画像として望ましいと判断できる．

に基づく特徴量として，現時点で我々は，画像空間を格3.6 階層型画像のクラスタの可視化

子分割し，各々の領域における代表画素値を算出し，こ続いて CAT では，以下の 3 ステップにより，大量画の結果を多次元ベクトル化して用いている．周波数情報

像を画面空間に配置する (図 4)．2.3 節で述べた通り，こに基づく特徴量として，現時点で我々は文献7) と同様な手の手法は「平安京ビュー」をベースにした手法である．

法を用いている．この手法ではウェーブレット変換を施

1. 低階層クラスタに属する画像サムネイルを格子状にして高周波成分を算出し，その高周波成分が非零である

配置し，長方形でそれらを囲む．全ての低階層クラ画素を抽出する．続いて抽出された画素に対し，高次局

スタに，同様の過程を繰り返す．

所自己相関関数を用いて特徴ベクトルを得る．参照点 r

2. 低階層クラスタを表現する全ての長方形を隙間なくでのエッジ画像の輝度値を Ir とすると，N 次自己相関

配置し，高階層クラスタを表現する長方形で囲む．

関数は，参照点周りの N 個の変位 (a1 ,...,aN ) に対して，
x(a1 , ..., aN ) = I(r)I(r + a1 )...

3. 高階層クラスタを示す長方形を隙間なく配置する．

I(r + aN )dx(5)で定義される．次数 N を高々2 までとし，変位の有無を画素ごとに 2 値化すると，参照点 r の周りの局所的な 3

全ての高階層クラスタに，同様の過程を繰り返す．

CAT は「平安京ビュー」と同様，文献3),4)に示す以下の値を最小化するように長方形群を配置する．

aA + rR + dD

(7)

× 3 画素の領域におけるパターンは，平行移動により等

ここで a, r, d は，正の定数でありユーザーが指定する．

価な特徴を除くと，全部で 25 個のテンプレートのいず

A は長方形配置における前後間の長方形の面積比， R はれかで表現される．特徴量は画像の各位置においてこの長方形配置における前後間の長方形の縦横比， D は長方25 個のテンプレートに対応する画素の輝度値の積を計算

形の実際の位置とテンプレートに描かれた理想的な位置

し，それらを画像全体で足し合わせることで求められる．

との間の距離である．CAT では変数 R を，理想的な縦この 2 種類の特徴ベクトルを併合したベクトルを用い

横比（＝代表画像の縦横比）に対する長方形領域の縦横て CAT では，余弦値が大きい順にボトムアップ的に低比の悪化の度合い，として計算する．

階層クラスタを生成する．この処理は， 2 クラスタ間の1)http://www.d.umn.edu/ tpederse/similarity.html 参照．

1112

2)この手法は高階層クラスタ構築手法 (2) を用いた場合にのみ有効である．

論文：CAT:大量画像の一覧可視化と詳細度制御のための GUI
Phase 1: Grid layout ofimages in lower-level clusters

表 1 主観的概観評価
順位
1 2

Phase 2: Packing oflower-level clusters
in higher-level clusters

3

4

5

クラスタなし

0

0

1

0

9

低階層クラスタ・代表画像なし

0

0

0

10

0

低階層クラスタ・代表画像あり

0

6

3

0

1

2 階層クラスタ・代表画像なし

2

2

6

0

0

2 階層クラスタ・代表画像あり

8

2

0

0

0

表2

特定画像を探し出す所要時間 (秒)．
方法 (1)

Phase 3: Packing of
higher-level clusters

方法 (2)

最短

9

8

平均

47

83

最長

152

308

4.1 主観的な外観評価
まず本実験では， 5 種類の異なる表示条件を課したブ
図 4 画像配置のための 3 ステップ．

ラウザを用意した．
「クラスタなし」では，全ての画像を，単純に格子状に表示する．
「低階層クラスタ・代表画像なCAT では，類似度の高いクラスタを，画面上で隣接配置できる．まず 2.2 節で説明した MDS や PCA に基づく方法で，クラスタの 2 次元空間上での理想位置を算出する．続いて 2.3 節で説明した方法で，理想位置の算出
結果をテンプレートとして各クラスタの画面上の位置を操作し，類似度の高いクラスタを画面上で隣接配置する．

3.7 ユーザインタフェースと詳細度制御
我々の CAT の実装では，マウスの左クリックにズー

し」では，画素情報に基づく 1 階層のクラスタを生成し，代表画像は表示しない．
「低階層クラスタ・代表画像あり」
では，画素情報に基づく 1 階層のクラスタを生成し，代表画像を表示する．
「2 階層クラスタ・代表画像なし」では，キーワードと画素情報に基づく 2 階層のクラスタを生成し，代表画像は表示しない．
「2 階層クラスタ・代表
画像なし」では，キーワードと画素情報に基づく 2 階層のクラスタを生成し，代表画像を表示する．

ムイン，右クリックにズームアウト，の各操作を割り当て

この 5 種類のブラウザを被験者に数分間操作してもらている．また，特定の長方形の背景をクリックすると，そい，視覚的印象と使いやすさの観点から， 1 位が最高評の長方形が画面中央に移動する．以上の操作により CAT

価，5 位が最低評価として，主観的に順位をつけてもらっは，特定のクラスタに対してスムーズなズームイン操作

た．表 1 に結果を示す．この結果より，2 階層クラスタを実現し，また 1 クリックで簡単にもとのズームアウト

リングおよび代表画像の有効性がわかる．特に代表画像状態に戻すこともできる．

の表示機能に高い評価が集中している．

また我々の実装では，ズームアウト状態で CAT を起この実験で被験者から得た意見として，代表画像の存動し，まず代表画像だけをハードディスクから主記憶に在は，詳細度制御による画像表示サイズの適正化だけで読み込む．そしてズームイン状態に伴い，フォーカス部

なく，表示速度の観点からも重要である，という意見が位の画像サムネイルだけを読み込む．さらに，表示対象あった．代表画像を表示しない場合，初期操作で非常にから外れた画像を，随時主記憶から解放する．以上の操多くの画像を表示するため，表示速度と主記憶使用量の作によって CAT は，主記憶使用量を節約する．

観点で不利であることが，被験者にも実感されているこ

4. 評 価 実 験とがわかる．

4.2 特定の画像を探し出す所要時間

我々は，GNU gcc 3.4 および OpenCV を用いてクラ

続いて，3.2 節で提案したキーワード選択画面を伴う

スタリング部を実装し，Visual C++を用いてブラウザ

方法 (1) と，3.3 節で提案した全クラスタを表示する方部を実行した．テスト環境には Windows XP を搭載し

法 (2) とで，紙に印刷した特定の画像 3 枚を被験者に提た PC を用い，横 384 画素，縦 256 画素の JPEG 画像

示し，2360 枚の画像の中から探し出す時間を計る実験を

2360 枚を活用した3) ．以下，10 人の学生被験者による，行った．

主観評価のためのユーザテスト結果を示す．
3)http://www.stat.psu.edu/˜jiali/index.download.html に，本実験に用いた 2360 枚の画像が公開されている．

この実験において，代表画像と特定の画像が類似している場合，方法 (1) も方法 (2) でも，探索時間は短くなる傾向にあった．一方で，方法 (2) では，複数のキーワード1113

画像電子学会誌 第 34 巻

第 6 号（2005）

表 3 縦横比率の統計結果
縦横比の区間 高階層 低階層

表4

長方形領域の統計
s1 = 1 s1 = 10

1.0 〜 1.1

6

10

最小値

9.28

45.43

1.1 〜 1.2

3

6

平均値

81.46

178.44

1.2 〜 1.3

18

38

最大値

833.17833.17

1.3 〜 1.41441

最大値と最小値の比

89.78

18.34

1.4 〜 1.57

19

1.5 〜 1.6

216

1.6 〜 1.7

012

1.7 〜 1.8

12

1.8 〜 1.9

13

1.9 〜 2.0

4

4

2.0 〜

5

0

平均値

1.336

1.383

を連想しやすい画像に関しては，関連する多くのクラスタを閲覧することで，大きな時間を要する場合が多かった．
表 2 では，時間の測定結果を表示した．最短，平均，最長時間をそれぞれの手法において示している．表 2 の結果からもわかるように，画像やユーザによって探索時間は変化するものの，方法 (2) に比べ方法 (1) では，最長時間と平均時間で大幅な探索時間の短縮が見られる．方法 (2) では，すべての高階層クラスタの代表画像の一覧
から特定のクラスタを探さなければならないが，方法 (1)では，特定のクラスタをキーワードにおいて絞り込むことで，効率よく探索できることが理由として挙げられる．

4.3 長方形の縦横比
続いて CAT による画面配置結果から，各クラスタを表現する長方形領域の縦横比を算出し，クラスタの代表画
像の縦横比にどれくらい近いかを評価した．本実験に用いた全ての画像の縦横比は 4/3 なので，本実験における

図 5 長方形領域の比較．(上) s1 = 1．(下) s1 = 10．

最適な縦横比は，全ての長方形領域において 4/3 である．
表 3 に縦横比の算出結果を示す．ここでは，高階層と低階層クラスタの縦横比を個々に表示した．

合には，クラスタの併合は一切行われない．このクラス

高階層，低階層ともに，多くのクラスタの縦横比は，理タ併合によって CAT では，ズームアウト操作によって想値に非常に近いといえる．また高階層クラスタにおい

代表画像の表示サイズが小さくなったときにも，視認でて，式 7 の定数 a を調節することによって，縦横比を改きる十分な大きさで代表画像を表示する．

良することが出来る．しかしながら，これによって空領

表 4 では s1 = 1 と s1 = 10 の 2 値について，高階域比が悪化する可能性もある．式 7 の最も望ましい値の層クラスタを構成する長方形領域面積の最小値，平均値，設定については，実験的に，そして主観的に議論する必

最大値，最大値と最小値の比，の各々を算出した結果を要があると考えられる．

示している．図 5 では，高階層クラスタの代表画像を表4.4 長方形領域

示した結果を示している．本研究の目的において，この最後に，全ての長方形領域について面積を計算し，CAT算出結果は，長方形領域面積の最小値が大きく，最大値におけるクラスタリング手法が長方形領域の面積均一化と最小値の比が小さいことが望ましい．表 4 からわかるに貢献していることを実証した．

ように，我々の実験では s1 = 10 のときのほうが，望まCAT のクラスタリング手法は，s1 の値を適切に設定しい長方形領域面積が得られている．この結果から，提することで，小さいクラスタを合併させ，バランスのよ

案手法によるクラスタの併合が効果的に働いていること

いクラスタリング結果を得る．ただし s1 ≤ 1 である場

がわかる．

1114

論文：CAT:大量画像の一覧可視化と詳細度制御のための GUI

5. 結

age Retrieval and Context Provision, ACM SIGMM, Mul-論

timedia Information Retrieval, pp. 173-182, 2005.
10) Veltkamp R. C., Tanase M., Content-Based Image Re-

本論文では，キーワードやメタ情報だけでなく画像内

trieval Systems: A Survey, UU-CS-2000-34, Institute of

容にも基づく画像のクラスタリング手法，およびファイル

Information and Computing Science, University Utrecht,

システムと同様に階層構造化された大量画像群の一覧表

11) Yang J., et al., Semantic Image Browser: Bridging Infor-

2000.
mation Visualization with Automated Intelligent Image

示と詳細度制御のためのインタフェースを持ち合わせた，

Analysis, IEEE Visual Analytics in Science and Technol-

可視化手法 CAT(Clustered Album Thumbnails) を提ogy, pp. 191-198, 2006.

案した．また評価実験結果として，CAT の 2 段階クラ(2008 年 x 月 x 日受付)

スタリングおよび代表画像表示が高い主観評価を得たこと，キーワード選択画面を含む手法が画像探索において

五

味

愛

良好な結果を得たこと，少数クラスタリングの併合処理

2006 年お茶の水女子大学理学部情報科学科卒業． 2008 年お茶の水女子大学大学院人間文化研究科博士前期課程修了．お茶の水女子大学大学
院人間文化創成科学研究科博士後期課程在学中．情報処理学会会員．

や長方形領域の縦横比制御処理が良好な数値評価結果を得たこと，を示した．
今後の課題として，何十万もの画像を用いた膨大なデー
タでの実験を行いたい．また，式 7 の a,r,d の最適な値を求めるための主観評価を行い，よりよい階層構造の構
築手法の考察をしていきたい．GUI に関しては，ズーム
インタフェース機能や focus+context インタフェース機

宮

崎

麗 子

能を備えた可視化技術との融合を加えていきたい．また，

2002 年お茶の水女子大学理学部情報科学科卒業． 2004 年お茶の水女子大学大学院人間文化研究科博士前期課程修了．同年ソニー（株）入社．
お茶の水女子大学大学院人間文化研
究科博士後期課程在学中．情報処理学会会員．

画像検索において，代表画像の大きさを均一にした方が検索しやすいという意見もあるため，代表画像の均一化に関する手法を検討中である．

参考文献
1) Bederson B., B., PhotoMesa: A Zoomable Image Browser
Using Quantum Treemaps and Bubblemaps, User Interface Software and Technology, pp. 71-80, 2001.

伊藤貴 之 （正会員）

2) Bederson B., Schneiderman B., Ordered and Quantum

1992 年早稲田大学大学院理工学研
究科修士課程修了．同年日本アイ・
ビー・エム (株) 入社．1997 年博士(工学)．2000 年カーネギーメロン大学客員研究員． 2003 年京都大学大学院情報学研究科 COE 研究員 (客員助教授相当) 兼任．2005 年お茶の水女子大学理学部情報科学科准教授．
ACM, IEEE CS, 他会員．

Treemaps: Making Eﬀective Use of 2D Space to Display
Hierarchies, ACM Trans. on Graphics, Vol. 21, No. 4, pp.
833-854, 2002.
3) Itoh T., et el., Hierarchical Data Visualization Using a
Fast Rectangle-Packing Algorithm, IEEE Trans. on Visualization and Computer Graphics, Vol. 10, No. 3, pp.
302-313, 2004.
4) 伊藤, 山口, 小山田, 長方形の入れ子構造による階層型データ視覚化手法の計算時間および画面占有面積の改善, 可視化情報学会
論文集, Vol. 26, No. 6, pp. 51-61, 2006.
5) Jankun-Kelly T. J., Ma K.-L., MoireGraphs: Radial Focus+Context Visualization and Interaction for Graphswith Visual Nodes, IEEE Information Visualization, pp.
59-66, 2003.
6) Kang H., Shneiderman B., Visualization Methods for
Personal Photo Collections: Browsing and Searching in
the Photoﬁnder, IEEE Intl. Conf. on Multimedia and Expoジ

アリ
1995 年米国スタンフォード大学電気工学専攻修士課程修了． 1999 年
米国スタンフォード大学電気工学専
攻博士後期課程修了．現在米国ペン
シルバニア州立大学統計学専攻准教
授．IEEE 会員．

2000, pp. 1539-1542, 2000.
7) Kubo M., Aghbari Z., Makinouchi A., Image Retrieval
by Edge Features Using Higher Order Autocorrelation ina SOM Environment, IEICE, Trans. on Information and
Systems, Vol. E86-D, No. 8, pp.1406-1415, 2003.
8) Li J., Wang J. Z., Automatic Linguistic Indexing of Pictures by a Statistical Modeling Approach, IEEE Trans.
on Pattern Analysis and Machine Intelligence Vol. 25, No.
9, pp. 1075-1088, 2003.
9) Li J., A Mutual Semantic Endorsement Approach to Im-

1115