「何時，何処で，誰と」3 つのメタ情報に基づく個人写真ブラウザ
五味愛

伊藤貴之

お茶の水女子大学大学院 人間文化創成科学研究科”When, Where, Who”:
A Personal Photo Browser Based on 3 Metadata
Ai GOMI

Takayuki ITOH

Graduate School of Humanities and Sciences, Ochanomizu University{gomiai, itot} ＠ itolab.is.ocha.ac.jp

概要
本論文では，「何時，何処で，誰と」というメタ情報に基づいて，大量の個人写真を直感的に閲覧・分析できる，
3 次元写真ブラウザの一手法 MIAOW を提案する．MIAOW は，撮影場所と時間を基に自動でクラスタリング
した画像を 3 次元上に閲覧することができるウィンドウと，イベントの共有者によってクラスタリングされた被写体情報を表示するウィンドウを，互いに連携操作できる形で表示する．この仕組みによって MIAOW は，大量の個人写真から写真所有者の生活ログを分析するためのツールとしても機能する．

Abstract
This paper presents a personal photograph browser, which intuitively displays photographs from theirshooting locations and times, as well as persons, and assists the analysis of history of photograph owners.
It supports linked two views; one of the views displays photographs clustered based on their locations andtimes in 3D space, and the other displays persons clustered based on their co-occurrence in the events.
This browser can be a life log analysis tool to explore the events of photograph owners.

– 1–

1

概要

近年のデジタルカメラの急速な発達に伴い，個人が所有するデジタル画像は，何千何万枚と増加の一途を辿っている．一方でそのような大量の画像を整理することはユーザにとってかなり負担となってきており，大量画像の自動整理化は重要な課題となっている．また，個人写真は人々の思い出を含んでいることが多い
が，我々の写真に対する記憶は日が経つにつれ薄れていく．それゆえ，曖昧な記憶からの画像検索もまた重要な課題となっている．
個人画像の整理方法におけるアンケート調査を 24人の学生を対象に行った．個人写真のコレクションから特定の写真を検索する際にどのメタデータが重要であるかという問いに対し，撮影時間と答えた学生は18 人，撮影場所と答えたのは 18 人，キーワードは
10 人，特徴（色など）は５人，人物情報（被写体，撮影者）は３人であった．キーワードにおいては，常に画像につけられている保証はなく，画像に自動でキー
ワード付けを行う研究 [16] も行われているが，未だ各画像に自動で正確にキーワードを割り振ることが難し
い．それゆえ，画像整理という点では未だ特徴による画像整理は，信頼性に欠ける．また，画像の特徴（色など）によって画像データベースから画像を検索する
様々な技術（CBIR）[21] が知られているが，画像検索という点では未だ信頼性に欠ける．この結果をふまえて，本論文ではメタデータとして撮影日時，撮影場
所，被写体情報の３つのメタ情報を採用した．上記のアンケートからも示されるように，一般的に個人画像において重要な情報とは，どのようなイベントであったかということと同時に，「いつ，何処で，誰と」という 3 点の情報は特に重要であると考える．例えばある個人写真を見た時に，「この写真は春頃に長野に姉と一緒に行った旅行」というように，「いつ，何処で，誰と」という情報は，曖昧でありながらも個人の記憶に残りやすく，各々の写真から連想しやすい．それゆえ，これらの情報から徐々に画像を絞り込んで行くことは有効的であると言える．
本論文では，撮影日時，撮影場所，被写体情報，の3 つのメタデータに基づいて，大量写真を「○○旅行」
や「××パーティ」といったイベントに自動分類し，その結果であるイベントごとに写真を一覧表示する 3
次元個人写真ブラウザ MIAOW(Memorized Images
As Organized by When/Where/Who) を提案する．
また本手法は，個人画像を個人のライフログととらえることで，ライフログを分析できるツールとしても活用できる．図 1 に示すように MIAOW は，画面左側に LTView[8]，画面右側に PView というウィンドウが配置される．
LTView には，x 軸と y 軸に経度と緯度，z 軸に撮
影時間を割り当てている．そして，画面空間充填による階層型データの可視化手法を取り入れた画像ブラウ
ザ CAT(Clustered Album Thumbnail)[7] のアルゴ
リズムを拡張し，イベントごとに階層的に分類された
写真群を 3 次元空間に配置する．LTView では，ユーザのマウス操作による 3 次元空間の回転・平行移動・拡大縮小により，直感的に写真を選択表示できる．回
転操作においては，x 軸を中心に回転し，XY 平面と
XZ 平面の表示切り替えをスムーズに行うことができる．また，拡大縮小率の詳細度制御によって，縮小時は各クラスタの代表画像を表示し，拡大時は，各クラスタに属する画像サムネイルを表示する．また，画像の配置に関しては，画面空間充填を行いながら，階層を入れ子型の長方形で示す．まず XY 平面に対し，各画像の重複を回避しながら，画面占有面積が最小になるように，地理的位置を考慮して画像の配置を行なう．
そして次に XZ 平面に対して，画像の重複を回避しながら，画面占有面積が最小になるように，XY 平面上でのクラスタの X 座標を保持しながら，撮影時間を考慮して画像の配置を行なう．
一方 PView では，イベントごとに被写体の共起性を算出することで，被写体のグループを作成し，そのグループごとに被写体の顔画像を表示する．
MIAOW では，LTView と PView を連携的に操作しながら写真を選択することで，その写真の撮影場所，
撮影日時，被写体情報を，写真群全体の構成と比較しながら閲覧できる．これにより，写真を直感的に検索できるだけでなく，写真所有者の人間関係や行動範囲などの分析にも活用できる．
本論文では，著者の一人が所有する個人写真の閲
覧により，MIAOW の有用性を検証する．例として，「○○さんとは 3 年以上会っていないから，○○さんを含めたイベントを企画しよう．
」といった新たなイベントの企画支援に繋がる分析につながった例を示す．

– 2–

LTView

PView

図 1: MIAOW による可視化の例．LTView では X
軸を経度，Y 軸を緯度，Z 軸を時刻とする 3 次元空間
上に写真群を配置する．PView では共起性に基づいてグループ化された顔画像群を表示する．

2

関連研究

本章では MIAOW の関連研究として，画像ブラウ
ザに関する既存研究，MIAOW が採用する階層型デー
タ可視化手法およびその関連研究，位置情報や時間情報に関する可視化手法，について論じる．

2.1

画像ブラウザ既に多くの個人画像ブラウザが商用ソフトウェア
として開発されている．個人用の画像ブラウザとしては，Picasa [1](Google) や iPhoto [2](Apple) などが有名である．これらの画像ブラウザでは，撮影場所，
撮影日時，人物などのメタ情報から画像を整理閲覧する機能をサポートしている．またサーバと連携することで，ウェブ上の画像共有コミュニティサイトに画像をアップロードする機能や，サーバ上の画像に対するクエリ機能も充実している．一方で，これらの商用画
像ブラウザでは，大量の画像をどのように一覧するか，といった点で十分な機能を提供出来ていないことが多いと考えられる．例えば Picasa では地図上に画像を一覧表示する機能をサポートしているが，画像どうしが地図上で重なってしまうために，その一覧性は十分ではないことが多い．このことから画像ブラウザにおいては，画像の一覧性を実現するような画像配置手法が活発に研究されている．
大量画像ブラウザにおける画面配置問題に関する研究の多くは，画像間の類似性や関連性を考慮した画面配置手法を提案している．既存の画像配置手法の多くは 2 次元空間に画像を配置するのに対して，3 次元空間に画像を配置する手法もいくつか提案されている[3] [11]．しかしこれらの 3 次元空間に画像を配置する手法では，画面上での画像間の重複回避処理を行っていない．それゆえ，既存の手法では２次元の画面上において，画像の一覧性には一定の限界があると考えられる．
画像ブラウザにおける 2 次元空間への画面配置手法
は，構造的な手法と，非構造的な手法に大別される．
非構造的な手法の多くでは，多次元尺度構成法 (MDS)
や主成分分析 (PCA) を活用し，低次元ユークリッド
空間に画像サムネイルを配置する [20] [25]．それに対して，構造的な手法の多くでは，木構造やグラフ構造などを対象とした情報可視化技術を適用している．一例として，局所拡大表示型のグラフレイアウト技術が大量画像ブラウザに適用されている [15] [23]．

2.2階層型データ可視化手法

本論文で提案する MIAOW は，木構造に基づいて整理された画像群を画面配置する手法であり，そのア
ルゴリズムには階層型データ可視化手法が採用されている．
階層型データの情報可視化手法の中でも有名なものに，木を表示する手法と，画面空間充填による手法があげられる．MIAOW の先行研究である CAT[7] は，
画面空間充填手法に属する手法であり，そのアルゴリズムには階層型データ可視化手法「平安京ビュー」[14] が採用されている．
「平安京ビュー」は，入れ子型の長方形の枠で階層を表し，葉ノードをアイコンで表示する．
「平安京ビュー」は階層構造の最下位に属する葉ノード群を，クリックしやすく等しいサイズのアイコンとして，しかも互いに重ならずに表示できる，という特徴がある．このアイコンを画像サムネイルに置
き換えることで，CAT は大量の画像を，等しいサイズで互いに重ならずに一覧表示できる．
ま た ，Quantum Treemap[5][19] と い う 階 層 型
データ可視化手法を採用した大量画像ブラウザ
PhotoMesa[4] が提案されている．Quantum Treemap
も，画面空間充填による階層型データ可視化手法であり，「平安京ビュー」に類似した特徴を持つ．文献– 3–[13][14] では Quantum Treemap と「平安京ビュー」の比較評価結果を掲載している．この比較評価結果において「平安京ビュー」は，類似する階層型データのレイアウトの安定性と，長方形領域の縦横比において，よい結果を得ている．また Quantum Treemapと違って「平安京ビュー」は，不均一な 2 段階以上の階層を有する任意の階層構造を表現できる．これらの長所は，そのまま CAT の PhotoMesa に対する優位性としてあげられる．
本手法では，CAT を基に画面空間充填アルゴリズ
ムを適用して画面配置を行っている．しかし CAT や
PhotoMesa における配置結果では，画面空間の充填処理が行われているが，画像の生成日時や生成場所などが反映されておらず，これが結果として対話的な画像検索における不便さを生じることがある．
以上の既存手法と比較して，MIAOW は，上述のCAT のアルゴリズムを取り入れ，画像クラスタを入れ子型の長方形で表すことで画像群を隙間なく配置
し，平安京ビューにおけるテンプレート機能を使用することで，その配置結果に撮影日時や撮影場所といったメタ情報を反映できる．

2.3

位置情報や時間情報に関する可視化手法

MIAOW は X 軸および Y 軸に経度と緯度，Z 軸に時刻を割り当てた仮想 3 次元空間に画像を配置する．
このような 3 次元空間は俗に「Space-Time Cube」と呼ばれ，多くの研究が位置情報と時間情報の同時可視化の目的で採用している [9] [18]．つまり MIAOW は，Space-Time Cube を画像ブラウザに採用した手法の一種であると考えられる．
位置情報や時間情報のいずれか一方を考慮した画面配置手法も，いくつか提案されている．位置情報に着目した画面配置手法では，地図上の各領域を長方形に置き換えて画面配置する手法 [10] や，長方形の画面領域を位置情報に基づいて分割する充填手法 [24] などが発表されている．時間情報に着目した画面配置手法では，時間軸に沿って画像を配置するブラウザ [12]が発表されている．これらに対して MIAOW は，3次元空間を活用して，位置情報に基づく画面配置，および時間情報に基づく画面配置の両方を採用した手法である，と位置付けられる．

3

MIAOW の処理手順

本章では，MIAOW を構成する各処理の詳細について論じる．MIAOW の処理手順は以下の通りである．

1. 撮影日時および撮影場所に基づいて，写真にク
ラスタリングを適用する．また，写真の被写体である人物に対して，その共起性に基づいてク
ラスタリングを適用する．3.1 節および図 2(1),図 3 参照．
2. 撮影場所に基づいて，LTView の XY 平面に写真
クラスタを配置する．3.2 節および図 2(2) 参照．

3. 撮影日時に基づいて，LTView の XZ 平面に写真クラスタを配置する．3.3 節および図 2(3), 図
4 参照．

Pi = (λi , φi , ti , f1i , f2i , ..., f(mi i) )4. 被写体人物を PView に配置する．3.4 節参照．
5. 以下の操作を待ち受ける．
• LTView における回転・平行移動・拡大縮小操作．3.5 節および図 5 参照．

手順 1-1: 位置情報に基づいて，全写真に対しクラス
タリングを適用し，高階層クラスタを生成する．

• LTView と PView の連携操作．3.6 節および図 6 参照．

(1)(1)

ここで，λi は Pi の経度，φi は Pi の緯度，ti は Piの撮影日時，fji は Pi の被写体を示し，mi は Pi の被写体数を示す．MIAOW では前処理として，画像と被写体のクラスタを生成する．以下にクラスタリン
グの処理手順（図 3 参照）を述べる．

手順 1-2: 撮影日時情報に基づいて，各々の高階層クラスタを構成する写真群に対してクラスタリン
グを適用し，低階層クラスタを生成する．ここで生成されたクラスタをイベントと定義する．

写真クラスタリング

手順 1-3: 各イベントにおける被写体の共起性から，被写体にクラスタリングを適用する．

Higher-levelclusters
Lower-levelclusters…

手順 1-1: 撮影場所におけるクラスタリング
Location 1t

Photographs

平面上への写真配置

Y (latitude) (2) XY

Location 2t

手順 1-2: 撮影日時におけるクラスタリング,イベントを生成
Event 1-1a

X (longitude)b

Event 1-2

Event 2-1

Event 2-2

a

a

b e

a

c

d

手順 1-3: イベントの共起性から被写体のクラスタリング
Event
Z (time)Group 1（ ）平面上への画像配置

b 2e
Group

(3) XZ YZ

Person

図 2: LTView による 3 次元空間への画面配置の処理
手順．

c 3d
Group
a

b

e

c

d

a

図 3: 写真と被写体のクラスタリング．

3.1

写真と被写体のクラスタリング

本論文では，各々の写真は撮影日時，撮影場所（緯度および経度）をメタ情報として保有していることを前提とする．我々の実装では，撮影場所をメタ情報として保有しない写真については，写真に付与された撮影地名から google Picasa APIs によって取得した緯度および経度の値を参照している．また本論文では，各々の写真の中にある被写体も，写真のメタ情報として保有していることを前提とする．我々の実装では，
google Picasa APIs を用いて各々の写真から顔部分を検出し，同一人物と識別される顔に同一の ID を割り当て，この ID を被写体のメタ情報として写真に付与している．
以上をまとめて本論文では，写真 Pi の属性を以下のように定義する．

– 4–

MIAOW では位置情報によって XY 平面上の全体的な配置を決定するため，最初に位置情報に基づいて
写真クラスタを生成する．これにより MIAOW では，
XY 平面上に，地理的位置が近いイベントをまとめて表示することができる．
手順 1-1 では，2 枚の写真間の距離を撮影場所における物理的距離と定義し，経度，緯度情報に基づいて
デンドログラムを生成する．そして，任意の閾値により，写真を高階層クラスタに分類する．ここで，生成された高階層クラスタのメルカトル地図上での理想値を求める．我々の実装では，クラスタに属する写真のメルカトル地図上の位置の平均値を理想値として定義する．これらの理想値は，3.2 節で述べるクラスタ配置の際に使用される．
手順 1-2 では，撮影日時に基づいて写真クラスタを生成する．我々の実装では，各々の高階層クラスタを構成する写真群を撮影日時順に並び変え，前後 2 枚

の写真において撮影時間の差を距離として，デンドロ
グラムを生成する．そして，任意の閾値によって低階層クラスタを生成する．このとき，各クラスタの被写
体情報を集計し，距離の近いクラスタにおいて，被写体情報の共起性が高ければ結合する．そしてクラスタを生成した後に，各低階層クラスタの理想値を計算す
る．我々の実装では，写真の撮影日時における平均値を理想値と定義する．これらの理想値は，3.3 節で述
べるクラスタ配置の際に使用される．
手順 1-3 では，誰がどのイベントに参加したかという被写体情報から，被写体クラスタを生成する．i 番
目のイベントに参加した被写体 j の画像枚数を qij とすると，被写体 j を n 次元ベクトル (q1j , q2j , ..., qnj )で表すことができる．ここで，n はイベント数を表す．
MIAOW では，任意の被写体間のユークリッド距離を n 次元ベクトルから計算し，この距離に基づいて被写体のデンドログラムを生成する．そして，任意の閾値によって被写体のクラスタを生成する．多くの場合において被写体クラスタは，家族・友人・同僚といった人間関係に基づいたグループに対応する．

3.2

LTView の XY 平面への位置情報に基づく写真配置

3.3

LTView の XZ 平面への時間情報に基づく写真配置

XY 平 面 に 入 れ 子 型 に 長 方 形 を 配 置 し た 後 に
MIAOW では，低階層を示す長方形に対して，撮影日時に基づいて z 値を与え，XZ 平面に配置する．XZ
平面上の配置アルゴリズムを図 4 に示す．
手順 3-1: 手順 2-2 において計算された低階層クラス
タを示す長方形の x 座標値を固定したまま，低階層クラスタを撮影日時順に XZ 平面上に配置する．

本手法では以下の処理手順により，XY 平面に大量の写真を画面配置する．なお本手法では，2.2 節で述
べたとおり，空間充填による階層型データ可視化手法「平安京ビュー」と同じ画面配置アルゴリズムを導入している．

手順 3-2: 低階層クラスタを示す各長方形の重複を避けながら，z 座標値を修正する．

手順 2-1: 低階層クラスタに属する写真サムネイルを格子状に配置し，長方形でそれらを囲む．すべての低階層クラスタに対して，同様の過程を繰り返す．

手順 3-3: 各画像サムネイルの z 座標値を，低階層クラスタを示す長方形内に収まるように修正する．
手順 3-1 において，すべての低階層クラスタの平均
撮影時間からクラスタを昇順にソートし，XY 平面における x 座標値を保持しながら，重複を避けながら長方形を XZ 平面に配置する．ここで z 座標値の最小値
を Zmin と定義し，以下の条件を満たすように，長方形 R の配置を行う（図 4（上）参照）．

手順 2-2: 低階層クラスタを表現するすべての長方形
を隙間なく配置し，高階層クラスタを表現する
長方形で囲む．すべての高階層クラスタに対して，同様の過程を繰り返す．
手順 2-3: 高階層クラスタを示す長方形を，撮影場所に基づいて画面配置する．

MIAOW は「平安京ビュー」と同様，文献 [14] に示す以下の値を最小化するように長方形群を配置する．
aA + rR + dD

また MIAOW では，変数 D を，実際の長方形の位置と手順 1-1 で求めた地図上の理想位置との間の距離とする．この際，地図上の理想位置は，テンプレー
ト上に，理想座標値として記録される．テンプレート
機能では，データの意味やユーザの意図に対し一意な
画面配置を得ることができ，テンプレート上に記載された理想座標値にできるだけ近い位置に長方形を配置することができる．このテンプレートを使用することで，本手法では地理情報を反映した一意な画面配置を得ることができる．
手順 2-1，2-2 においては d = 0 とし，手順 2-3 では，d に任意の値を指定する．すなわち，高階層クラスタの配置時のみ，地図上の理想位置を配置条件として参照する．

(2)

ここで a, r, d は，0 以上の定数でありユーザが指定する．A は一つ上の階層を示す長方形の、各長方形の配置前の面積と、各長方形の配置後の面積の比，Rは一つ上の階層を示す長方形の、各長方形の配置前の縦横比と、各長方形の配置後の縦横比の比，D は長方形の実際の位置とテンプレートに描かれた理想的な位置との間の距離である．MIAOW では，変数 R を，
理想的な縦横比（＝代表画像の縦横比）に対する長方形領域の縦横比の悪化の度合い，として計算する．理想的な縦横比とは，手順 2-1 においては，代表画像の縦横比とし，手順 2-2 においては，正方形の縦横比す
なわち 1 とする．手順 2-3 においては，メルカトル地
図の縦横比とする．

– 5–• すでに配置されている長方形に重複しないように R を配置する．
• すでに配置されている長方形に隣接するか，z =Zmin として配置する．
手順 3-2 では，長方形の z 値を修正する（図 4（下）参照）．手順 3-1 ですべての長方形を配置した際に，最大となる Z 値を Zmax として各長方形の理想値 Ziを以下の式で求める．

Zi =ti − tmin(Zmax − Zmin ) + Zmin
tmax − tmin

(3)

ここで Ri の撮影時間を ti とし，tmax と tmin を
低階層クラスタにおける撮影時間の最大値と最小値とする．長方形の重複を避け，理想値 Zi に近づくように z 値を修正する．

y軸を中心に回転Y (latitude)x

X (longitude)

(x,y)

x

Z (time)

手順 3-1:x座標を固定しながらXZ平面に
低階層クラスタを配置

x

手順 3-2:低階層クラスタのz座標値を修正(x,z)

図 4: LTView による XZ 平面への画面配置．

3.4

z

PView における被写体配置

図 5: LTView における XY 平面と XZ 平面との相互回転操作．

一方 PView では，「平安京ビュー」の画面配置アルゴリズムにより，処理 1-3 で求めた被写体のクラス
タごとに顔画像を配置する．配置手順は，LTView の
XY 平面への画面配置における手順 2-1 および 2-2 と同様である．

3.5

メモリに読み込むことによって，ネットワーク負荷の低減，メモリ使用量の節約，ハードディスク等への読み書き頻度の低減，などを実現し，ひいては表示速度の高速化を実現している．この仕組みにより MIAOW
では，何万枚といった大量の写真セットを扱うことが可能である．

LTView におけるマウス操作

前節までに論じた写真配置・被写体配置を終えると，
MIAOW は閲覧者のマウス操作を待ち受ける．主なマウス操作として，LTView 上でのドラッグ操作，およびクリック操作に基づく LTView と PView の連携
操作，があげられる．
LTView ではドラッグ操作の一環として，マウスの左ボタンに平行移動，右ボタンに回転，ホイールにズーム操作を割り当てている．
図 5 に示す回転操作では，x 軸を中心として回転させることで，容易に XY 平面と XZ 平面を切り替えられる．その際，画像は視線方向に平行な法線方向を保って表示されるので，回転中でも画像を常に目で追うことができる．このような回転操作に基づく切り替
え操作の効果は，情報可視化の研究においても近年活発に議論されており [6]，MIAOW は画像ブラウザにそれを採用した手法であると考えられる．
また，ズーム操作では，ズームアウト時は，各低階層クラスタの代表画像を表示させ，ズームイン時は，個々の画像サムネイルを表示する詳細度制御を設けている．我々の実装では，画面上に表示する画像のみを

– 6–

3.6

LTView と PView の連携

初 期 画 面 で は 、LTView が ウィン ド ウ 左 側 に 、PView がウィンドウ右側に配置され、それぞれにおいて各画像が領域内に収まるように配置される。LTView
上のイベント代表画像，タイムライン上に示される日時，および PView 上の顔画像は，それぞれクリック
選択が可能な状態で表示されている．これらがクリッ
クされることで，閲覧者は LTView と PView を連携操作できる．これらの連携操作は，写真の検索のみならず，写真所有者の人間関係やイベント履歴などの分析にも有効である．
図 6 は LTView と PView の連携操作を示したものである．我々の実装では，以下の 3 種類の連携操作が実現されている．

• LTView でイベントの代表画像を選択すると，タイムライン上の対応する日時がハイライトされるとともに，PView においてそのイベントを共有している被写体がハイライトされる．

に示すように，我々の実装では XZ 平面の左端にタイ
ムラインを色分け表示しており，この例では 2004 年
から 2009 年まで 1 年単位で日時の区間を選択可能になっている．

• LTView でタイムライン上の日時を選択すると，その日時におけるイベントの代表画像がハイライトされるとともに，PView においてそのイベントを共有している被写体がハイライトされる．
• PView で被写体を選択すると，その被写体が参加したイベントの代表画像がハイライトされるとともに，その被写体の撮影日時が LTView のタイムライン上でハイライトされる．

China,
Korea

EuropeJapan

U.S.A.
(Western&Rocky)

高階層クラスタの理想値
を世界地図上に表示

World Map

U.S.A.
(Eastern&Southern) Caribbean sea

特定の代表画像を選択:- 時間がハイライト-関係する被写体がハイライト
LTView

Asia

AustraliayxTimelineelements

特定の時間を選択:-代表画像がハイライト-関係する被写体がハイライト
特定の人物を選択:- 特定人物が撮影された
時間がハイライト- 特定人物が撮影されたイベントがハイライト

z

PView

図 7: （上）LTView による XY 平面の表示例．
（下）LTView による XZ 平面の表示例．

図 6: LTView と PView の連携．

4.1

4

実行例

我々は WindowsXP および Java JDK 1.6.0 を用
いて MIAOW を実装し，Lenovo ThinkPad T500
(CPU 2.8GHz, RAM 2GB) 上にて本手法を実行した．本実験では，個人が所有している JPEG 画像から，サイズ 100 × 75 画素のサムネイルと，サイズ任意の代表画像を生成したものである．式 2 のパラメー
タは、a=0.0, r=1.0, d=1.0(手順 2-3 のみ) とした。
図 7 は，MIAOW における写真セット 1 の XY 平面
および XZ 平面の表示例である．図 7（上）を見ればわかるように，MIAOW による XY 平面への代表画
像の配置結果では，日本の写真の下（南）にオースト
ラリアの写真，日本の写真の左（西）にアジア諸国の写真，その左（西）にヨーロッパの写真，その左（西）にアメリカの写真，というように地理的な隣接関係を考慮した写真配置が実現されている．また図 7（下）– 7–ケーススタディ

本 節 で は ，個 人 写 真 群 の 可 視 化 結 果 を 通 し て ，MIAOW が写真所有者のイベントの傾向をどのように表現したかを示す．世界中で撮影された世界写真
セット 4,804 枚と国内のみで撮影された国内写真セット 5,420 枚の例を示す．
世界写真セット
海外旅行が趣味である女子学生が 2004 年から 2009
年に実生活の中で撮影した個人写真群である．図 8,9は，2004 年から 2009 年の各年を選択した結果を示している．
2004 年（図 8（上）参照）において彼女は主に，ヨー
ロッパや太平洋の島国で大学友人や家族とイベントを共有している．それに対して 2005 年（図 8（中）参照）には，研究室メンバーや家族と共に多くのイベン
トを共有している．実際に 2005 年は，彼女にとって研究室配属 1 年目であり，研究室メンバーとの交流が始まった年でもある．続いて 2006 年（図 8（下）参照）には，大学友人との交流が再び行われ，家族との交流

も頻繁に行われている．そして 2007 年（図 9（上）参照）には，アメリカのさまざまな場所に訪れていることがわかる．2007 年を他の年と比べてみると，2007
年以外はヨーロッパに行き，この年だけはアメリカに行っていることも確認できる．一転して 2008 年（図9（中）参照）には，多くの同僚とイベントを共有していることがわかる．実際に 2008 年には，写真所有者は社会人になり，さまざまな出会いがあった．そして 2009 年（図 9（下）参照）には，海外での写真がほとんどない．この年は実際に忙しく，海外に行く時間がなかったこともうかがえる．このように，MIAOW
を利用し，年ごとのイベントを場所と人物を連携的に表示することで，写真所有者の生活ログを容易に分析することができる．
図 10 は，同じグループに属する人物を分析した
結果を示す．この結果から，写真所有者と友人 E は，2006 年以降イベントを共有していないことがわかる（図 10（上）参照）．一方で，グループ内の他の友人達の結果は，図 10（下）の友人 B の結果とほぼ同じであり，2008-2009 年にも 3 回イベントを共有している．画像所有者はこの結果をみて実際に，友人 F も
これらのイベントに招待してもよかったのかもしれな
い，友人 F を招待し新たなイベントの計画を立てるべきだ，と考えた．MIAOW ではこのように，人間関係を分析することで，長年交流がない人物を容易に発見することができる．
図 11 は，写真所有者の姉との関係を可視化した結果である．姉と共有した最後のイベントは 2007 年であった．写真所有者は，2007 年以降なぜ姉とイベントを開催していないのか疑問に思った．そこで最後のイベントをズームしてみると，姉の結婚式であることがわかった．写真所有者は，姉家族と家族ぐるみのイベ
ントの計画を立てようと思った．このように MIAOW
では，ズーム操作に連動した詳細度制御により，イベントの選択からイベントの詳細確認へのスムーズな操作を可能にする．

規模なセットにおいても，短時間で LTView の画面配置を実現していることがわかる．

表 1: 写真セットの規模および，画面配置の処理
時間．
写真セット

1

2

3

高階層クラスタ数

1015
51

5000
243

9500
295

処理時間（ミリ秒）

32

1297

1501

写真枚数

続いて我々は，情報科学科の学生 12 人（写真所有者
ではない）を被験者として，特定の写真を探すユーザ
テストを実施した．我々はまず，被験者に MIAOW お
よび既存の 2 次元画像ブラウザ（本実験では CAT[7]）を数分間使ってもらい，操作方法を習得してもらった．
我々はこの工程にて，表 1 に示す「写真セット 1」を用いた．続いて我々は，撮影日時と撮影場所を含むさ
まざまな条件によって特定される画像を，MIAOW お
よび既存ブラウザを使って被験者に探してもらい，その所要時間を測定した．ここでいう条件とは，例えば「2009 年 5 月に撮影した河口湖の写真」というような条件をさす．我々はこの工程にて，表 1 に示す「写真セット 3」を用いた．
表 2 は，被験者が写真を探すのに要した時間の最大値，最小値，平均値をまとめたものである．この結果から，MIAOW は撮影日時と撮影場所から特定される写真を探し出すというタスクにおいて，既存の 2次元画像ブラウザと比べて格段に効果的であることがわかる．

表 2: 画像を探し出すのに要する時間（単位：秒）．
最小
平均
最大

CAT
MIAOW

国内写真セット
日常生活で写真を撮ることが好きな女子学生が 2005年から 2010 年に実生活の中で撮影した個人写真群である．図 12 は，写真所有者の大学友人のグループを選択した例である．LTView において，大学友人とは
1 カ所 (関東) でしか交流していないことがわかった．
この結果より，写真所有者は大学友人と旅行に行く計
画を立てようと思った．図 13 は，2010 年を選択した例である．XZ 平面から XY 平面への回転操作を行うと，2010 年のイベントはすべて１カ所 (信越) で行われていることがわかった．実際に写真所有者は東京の大学を卒業し，この年に信越地方の実家へ拠点を移した．MIAOW ではこのように写真所有者の行動範囲の分析も行うことが出来る．

4.2

4.3

46.6
22.6

211.25
62.4

637.4
162.8

被験者によるコメント

続いて我々は，被験者に前述の写真群を使って
MIAOW を操作してもらい，ブラウザから読み取れる内容を分析してもらった．以下がユーザ実験によって得られた回答内容である．

• 写真所有者は 2007 年にのみアメリカに訪れている．一方で，それ以外の年は，ヨーロッパに毎年訪れている．
• 写真所有者は 2008 年以降同僚と多くのイベントを共有している．

数値評価• 写真所有者は特定の人物と海外に訪れている．他の人物は国内でのみイベントを共有している．

続いて我々は，枚数の大きく異なる 3 種類の写真
セットを用意し，LTView における画面配置に必要な処理時間を計測した．表 1 にその結果を示す．この結果から MIAOW は，1 万枚近くの写真を有する大• 写真所有者は大学友人と頻繁にイベントを共有
している．

– 8–

• 写真所有者は毎年家族とイベントを共有している．
• 2008 年以降に幼児がイベントに参加し始めた．
これらの回答から，どの被験者も的確に素早く，写真所有者のイベントの特徴を理解していることがわ
かった．この結果から，MIAOW を用いることで，個人の生活ログの分析が容易になることがわかった．また，多くの被験者は，MIAOW の操作は簡単であるとコメントしていた．このことから，被験者たちは興味深い場所，時間，人物を容易に選択しながら写真を閲覧することによって，直感的にイベントの特徴をとらえることができたと考えられる．特に PView にて，人物がグループに分類されて表示されているのが有益な情報である，という意見が多く聞かれた．
一方で一部の被験者からは，ブラウザの改良点について以下のような意見を受けた．

• 人物の登場回数によって色もしくは写真サイズを変更すれば，より情報を得ることができる．
• 世界地図上で選択が可能であれば，より使いや
すい．

参考文献
[1] Google Picasa, http://www.picasa.com/.
[2] Apple iPhoto, http://www.apple.com/iphoto/.
[3] View サ ー チ 北 海 道,
hokkaido.jp/.

http://www.view-[4] B. B. Bederson, PhotoMesa: A Zoomable
Image Browser Using Quantum Treemaps
and Bubblemaps, User Interface Software andTechnology, pp. 71-80, 2001.
[5] B. B. Bederson, B. Schneiderman, Ordered
and Quantum Treemaps: Making Eﬀective
Use of 2D Space to Display Hierarchies, ACM
Trans. on Graphics, Vol. 21, No. 4, pp. 833854, 2002.

• 色によって国や地域が分けられると更にわかりやすい．
• 時間選択が四季や月ごとに分かれていると更によい．

[6] N. Elmqvist, P. Dragicevic, J.-D. Fekete,
Rolling the Dice: Multidimensional Visual Exploration Using Scatterplot Matrix Navigation, IEEE Transactions on Visualization andComputer Graphics, Vol. 14, No. 6, pp. 11411148, 2008.

• 選択されたイベントのみ表示をしたほうが見や
すい．
これらは，我々の実装において容易に拡張できると想定されるので，今後の課題として取り入れたい．

5

それ以外の今後の課題として，画像クラスタリン
グに関する既存手法 [22] の検討を進め，クラスタリ
ング結果の精度や満足度の向上に努めたい．また，何万枚といった大規模な写真群を使用して，実験およびユーザ評価を実施したい．

[7] A. Gomi, R. Miyazaki, T. Itoh, J. Li, CAT: A
Hierarchical Image Browser Using a Rectangle
Packing Technique, 12th International Conference on Information Visualization (IV08), pp.
82-87, 2008.

まとめ・今後の課題

本論文では，位置情報，時間情報，被写体情報に基づいて個人写真を閲覧および検索し，また写真所有者の人間関係やイベント履歴の分析にも使える写真ブラ
ウザ MIAOW を提案した．MIAOW は，位置情報と時間情報からイベントと呼ばれる写真クラスタを生成する．そして，イベントでの共起性に基づいて被写体のクラスタを生成する．このクラスタリング結果に基づいて MIAOW は，位置情報と時間情報に基づいて
3 次元空間上に写真を配置する LTView 画面と，グ
ループごとに被写体を配置する PView 画面を起動す
る．本論文では，実際の個人写真におけるケーススタ
ディを示すとともに，ユーザ実験結果から MIAOWの有効性を示した．
現時点での我々の実装では，代表画像の選択は自動化されておらず，ユーザがイベントごとに手動で代表画像を選択しなければならない．そこで今後の課題の一つとして，代表画像の自動選択手法の導入が考えられる．代表画像の選択方法において，何人かの被験者から，撮影時間や，閲覧回数の多い画像や，被写体数の多い画像などを代表画像に選択したいとコメントをもらった．また，VisualRank [17] をはじめとした画像評価手法を代表画像の自動選択に応用することも考えられる．これらに関しては，今後の課題として実験を進めたい．

[8] A. Gomi, T. Itoh, MIAOW: A 3D Image
Browser Applying a Location- and TimeBased Hierarchical Data Visualization Technique, Advanced Visual Interface (AVI10), pp.
225-232, 2010.
[9] T. Hagerstrand, What about People in Regional Science?, Papers in Regional Science,Vol. 24, No. 1, pp. 6-21, 1970.
[10] R. Heilmann, D. A. Keim, C. Panse, M. Sips,
RecMap: Rectangular Map Approximations,
IEEE Information Visualization, pp. 33-40,
2004.
[11] H. Horibe, T. Itoh, PhotoSurﬁng: A 3D Image
Browser Assisting Association-Based Photograph Browsing, IIEEJ Image Electronics andVisual Computing Workshop, 2010.
[12] D. F. Huynh, S. M. Drucker, P. Baudisch, C. Wong, Time Quilt: Scaling Up
Zoomable Photo Browsers for Large, Unstructured Photo Collections, ACM SIGCHI Late
breaking results: short papers, pp. 1937- 1940,
2005.

– 9–

[13] T. Itoh, Y. Yamaguchi, Y. Ikehata, Y. Kajinaga, Hierarchical Data Visualization Usinga Fast Rectangle-Packing Algorithm, IEEE
Transactions on Visualization and Computer
Graphics, Vol. 10, No. 3, pp. 302-313, 2004.
[14] 伊藤, 山口, 小山田, 長方形の入れ子構造による階層型データ視覚化手法の計算時間および画面占有面積の改善, 可視化情報学会論文集, Vol. 26,
No. 6, pp. 51-61, 2006.
[15] T. J. Jankun-Kelly, K.-L. Ma, MoireGraphs:
Radial Focus+Context Visualization and Interaction for Graphs with Visual Nodes, IEEE
Information Visualization, pp. 59-66, 2003.

五味 愛
2006 年お茶の水女子大学理学部情報科学科卒業．2008
年お茶の水女子大学大学院人間文化研究科博士前期課
程修了．現在お茶の水女子大学大学院人間文化創成化
学研究科博士後期課程在学中．

[16] J. Li, J. Z. Wang, Real-time Computerized
Annotation of Pictures, ACM Multimedia, pp.
911-920, 2006.
[17] Y. Jing, S. Baluja, VisualRank: Applying
PageRank to Large-Scale Image Search, IEEE
Transactions on Pattern Analysis and Machine Intelligence, Vol. 30, No. 11, pp. 18771890, 2008.
[18] M. Kraak, The Space-Time Cube Revisitedfrom a Geovisualization Perspective, 21th
International Cartographic Conference, pp.
1988-1996, 2003.
[19] J. Kustanowitz, B. Schneiderman, Meaningful
Presentations of Photo Libraries: Rationale
and Applications of Bi-Level Radial Quantum Layouts, ACM/IEEE Joint Conference
on Digital Libraries, pp. 188- 196, 2005.
[20] J. Marks, et al., Design Galleries: A General
Approach to Setting Parameters for Computer
Graphics and Animation, ACM SIGGRAPH,
pp. 389-400, 1997.

伊藤 貴之
1990 年早稲田大学理工学部電子通信学科卒業．1992
年早稲田大学大学院理工学研究科電気工学専攻修士課
程修了．同年日本アイ・ビー・エム (株) 入社．1997
年博士 (工学)．2000 年米国カーネギーメロン大学客員研究員．2003 年から 2005 年まで京都大学大学院情報学研究科 COE 研究員 (客員助教授相当)．2005 年
日本アイ・ビー・エム (株) 退職，2005 年よりお茶の水女子大学理学部情報科学科助教授（現在准教授）．
ACM, IEEE Computer Society, 情報処理学会，芸術科学会，画像電子学会，可視化情報学会，他会員．

[21] R. C. Veltkamp, M. Tanase: Content-Based
Image Retrieval Systems: A Survey, Rapport
Technique, 2000.
[22] M. Naaman, Y. J. Song, A. Paepcke, H.
Garcia-Molina, Automatic Organization for
Digital Photographs with Geographic Coordinates, 4th ACM/IEEE-CS Joint Conference
on Digital Libraries, pp. 53-62, 2004.
[23] J. A. Walter, D. Webling, K. Essig, H. Ritter, Interactive Hyperbolic Image Browsing Towards an Integrated Multimedia Navigator,
ACM SIGKDD, pp. 111-118, 2006.
[24] J. Wood, J. Dykes, Spatially Ordered
Treemaps, IEEE Transactions on Visualization and Computer Graphics, Vol. 14, No. 6,
pp. 1348-1355, 2008.
[25] J. Yang, et al., Semantic Image Browser:
Bridging Information Visualization with Automated Intelligent Image Analysis, IEEE Visual Analytics in Science and Technology,
2006.

– 10–

!""#

$%&''(&)*'!""#$%&'()!""#$%&&'()*'+

*%+
!""#

$%&'()!""#$%&''(&)*'!""#

図 8: ケーススタディ(1)．LTView のタイムラ

図 9: ケーススタディ(1)．LTView のタイムラ

イン上で 2004 年から 2006 年までの各年を選択

イン上で 2007 年から 2009 年までの各年を選択したときの表示結果．

したときの表示結果．

– 11–

PView!"#$%!"#"$%&'()"*+&,-../&

LTView&'"#$%
01&"2"*%3&3)*$"&-../&!"#$%!"#"$%&'()"*+&,-../&

図 12: ケーススタディ(4)．PView 上で大学友人のグループを選択したときの表示結果．

&'"#$%
01(""&"2"*%3&)*&-..4&5*+&-..6

図 10: ケーススタディ(2)．PView 上でクラス

XY-平面

メートの顔画像を選択したときの表示結果．

XZ-平面

0112&
!"#"$%&%'"&()(%"*+),-#&".",%&/)%'&'"*&/-(&),&0112

2010

図 13: ケーススタディ(5)．LTView のタイムラ
イン上で 2010 年を選択した結果．

3445&67&%4&%'"&')8'#)8'%"9&7'4%48*-7'

図 11: ケーススタディ(3)．写真所有者が姉と共有した最後のイベントに関する表示結果．

– 12–