CAT: 大量画像の一覧可視化と詳細度制御に関する研究
五味愛(指導教員：伊藤貴之)

1. 背景と目的
現在デジタルカメラの普及により，簡単にデジタル画像を作成することができるようになった．それゆえ，画像をZoom Out扱うさまざまな分野において，大量の画像が蓄積されている．一方で，それらの大量画像を分類し，簡単に閲覧が行える画像閲覧システムの必要性が増している．特に，大量の医用画像や航空写真あるいは自然画像の自動分類における研究では，一画面上で，全体の大まかな分類結果の閲覧や，徐々に絞込むような操作によって特定の画像を比較閲覧したい，という要望がある．そこで，本論文では大量画 像 の 一 覧 可 視 化 と 詳 細 度 制 御 の 手 法 CAT(ClusteredAlbum Thumbnails)を提案する．

2. 概要
CAT は，大量画像を階層的に分類し，それぞれのクラスタから代表画像を選出する．そして，平安京ビュー [1]という大規模階層型データ可視化手法を用いて画像群をＦ表示する．平安京ビューは，階層構造を入れ子型の長方形配置で，ノードをアイコンで表現する．本手法では，ズーＦ

ムアウト時には各階層を示す長方形に代表画像をマッピングし表示する．また，ズームイン時には各階層に属する各画像を表示する．この詳細度制御によって，クラスタリング結果の全体像の概略表示と，クラスタリング内部の各画像の局所表示を，シームレスに実現する．また，人間の視覚能力とディスプレイの解像度に応じた適切な枚数で画像を表示できる．
また，CAT の改良手法として，大量画像から特定の画像を効率よく探索するために，キーワードに基づく候補画像の適切な絞込みと，その画像群を効率よく閲覧するための GUI を提案する．改良手法では，まず初期画面にてキＦ
Zoom Inーワード一覧を表示する．続いて選択したキーワードを含む画像群の階層を，リアルタイムで構築し表示する．この操作により，効率的な絞込み画像探索を実現する．
今回扱う大量画像は，各画像に 1 個以上のキーワードが図 1. CAT による画像の一覧可視化とズーム操作の例．

つけられている自然画像を用いる．CAT は，前処理とし(上)高階層クラスタの代表画像表示．(中央) 低階層クラスて，キーワードと画素情報から 2 段階クラスタリングをタの代表画像表示．(下) 個々の画像サムネイル表示．

適用する．さらに，各クラスタの代表画像を選択する．
図 1 にCATの可視化例を示す．まず，高階層クラスタの代表画像を表示する(図 1 上）．続いて，マウスのクリ

3. 処理手順
3.1 画像クラスタリング

ックによるズームイン操作に伴い，画素情報に基づいて分本手法ではまず，画像をキーワードに基づいてクラスタ類した低階層クラスタの代表画像を表示する(図 1 中央)．

リングする．今回の実装では，WordNet という辞書を用いそして更にズームイン操作を行うことよって，最終的にて，キーワード間の距離を計算する．そして，1 個以上の個々の画像サムネイルを表示することができる(図 1 下)．

キーワードで構成されるキーワードセット間の距離を算出する．この結果を参照して本手法では，距離の近い画像が同一クラスタに属するように，階層的クラスタリングを施す．以上により生成されたクラスタを「高階層クラスタ」

4. 実行結果と称する．続いて CAT では，高階層クラスタに属する画本研究では Microsoft Visual C++および OpenCV を用い像群ごとに，画素情報に基づくクラスタリングを適用する．て CAT を実装した．テスト環境には Windows XP を搭載

CAT では色と周波数成分から特徴ベクトルを計算し，した PC を用い，横 384 画素，縦 256 画素の JPEG 画像

bottom-up リンケージクラスタリングによって，特徴ベク

2360 枚を活用した．以下，7 人の学生被験者によるユー

トル間角度の小さい画像ペアを順次同じクラスタに併合

ザテスト結果を示す．

する．このとき，各クラスタの画像数の均一化を試みながまず，複数のブラウザによる主観評価を行った．「クラらクラスタを生成し，可視化結果の視認性の向上を目指す．

スタあり/なし」「代表画像の表示/非表示」といった複数の画素情報に基づくクラスタを「低階層クラスタ」と称する．

ブラウザを被験者に数分間操作してもらい，視覚的印象と3.2 代表画像の選出
クラスタリング完了後に CAT は，それぞれのクラスタから代表画像を選出する．高階層クラスタ，低階層クラスタともに，クラスタに属する画像の中から代表画像を選出する．選出方法として，最も多くのキーワードを同時に有する画像，または特徴量がクラスタの重心に最も近い画像を選択する．また，代表画像を表示する際，各階層のクラスタを示す長方形の縦横比が代表画像の縦横比に近くなるように調節する．

3.3 平安京ビューによる一覧可視化

使いやすさの観点から，主観的に順位をつけてもらった．
この結果から，代表画像の存在はとても効果的であることがわかった．更に，被験者からの意見として，代表画像の重要性は，詳細度制御により適切なサイズで画像を表示できるだけでなく，画像の切り替え速度とメモリ使用量の観点でも効果的である，という意見が挙げられた．
続いて，初期手法と改良手法を用いて，ユーザが特定画像を探し出す所要時間を測定した(表 1) ．表 1 の結果からもわかるように，画像やユーザによって探索時間は変化するものの，改良手法では，最長時間と平均時間で大幅な探索時間の短縮が見られた．従来手法では，すべての高階層以上の処理によって構築された階層構造を，平安京ビュ

クラスタの代表画像の一覧から特定のクラスタを探さなー [1] により可視化する．平安京ビューでは木構造の葉ければいけなかったが，改良手法では，特定のクラスタをと枝を，それぞれアイコンと入れ子状の長方形の枠で表現キーワードにおいて絞り込むことで，効率よく探索できる．

する．CAT では各々の画像をアイコンにマッピングする

また，従来手法と改良手法の切り替えを可能にすることで，だけでなく，各々のクラスタの代表画像を，長方形の枠にユーザの用途に応じて，効果的に画像群を閲覧することがマッピングする．そしてマウスのズーム操作に伴って，アできる．

イコン画像や代表画像の表示を切り替え，シームレスな詳

表 1．特定画像を探し出す所要時間(秒)細度制御を実現する．

従来手法

改良手法

文献[1] の中の実装テストにおいて平安京ビューは，長最短時間

89

方形の縦横比の調節と，類似データにおける表示結果の類平均時間8347

似性において，Quantum Treemaps[2]を含む既存手法より優最長時間

308152れていると評価されている．よって CAT では，長方形の縦横比の調節により，歪まずに代表画像を表示できるという点から，平安京ビューを階層構造の可視化に用いた．また平安京ビューは，不均一な深さを有する 2 段階以上の階層構造の可視化においても，Quantum Treemaps より有利であると考えられる．
なお図 1 (上)のような画面配置において，画像の類似度の高いクラスタを画面上の近い位置に配置したい場合，主成分分析（PCA）や多変量解析（MDS）などを併用して表示するという手段が有効である．

3.4 CATの改良手法
CAT の改良手法は初期画面として，キーワード選択画

5. まとめ本研究では，2 段階のクラスタリングによって階層化された大量画像を，詳細度制御機能つきで一覧可視化する手法 CAT(Clustered Album Thumbnails)を提案した．また CATの改良手法として，候補画像の適切な絞込みと，その画像群を効率よく閲覧するための GUI を提案した．これにより，大量画像から特定の画像を効率よく探索することができた．

参考文献[1] 伊藤, 山口, 小山田, 長方形の入れ子構造による階層型データ視覚化手法の計算時間および画面占有面積の改面を表示する．そして，可視化の対象としたいキーワード

善, 可視化情報学会論文集, Vol. 26, No. 6, pp. 51-61, 2006.

をユーザが選択すると，CAT はそれらのキーワードを含[2] Bederson B., Schneiderman B., Ordered and Quantum

む画像群の階層をリアルタイムに構築する．

Treemaps: Making Effective Use of 2D Space to Display
Hierarchies, ACM Transactions on Graphics, Vol. 21, No. 4, pp.
833-854, 2002.