PhotoLab: ユーザの思考を支援する
画像閲覧インタフェースの開発
堀辺宏美

伊藤貴之

お茶の水女子大学大学院
E-mail:{romiko,itot}@itolab.is.ocha.ac.jp
概要
近年，計算機性能の向上や記憶装置の発達により，大量の画像を個人の計算機上で扱うことが可能になった．これにより，画像を印刷することなく，計算機上に制作されたアルバムという形で画像を鑑賞する機会は今後ますます増加すると考えられる．ここで我々は，ユーザの閲覧したい画像は，そのメタデータに沿って派生するのではないか，ということに着目した．この仮説に従って我々は，メタデータに沿って選択的に画像を閲覧するブラウザ PhotoLab を提案する．PhotoLab はメタデータに基づいて 3 次
元空間に画像を提示し，ユーザの閲覧したい画像が派生するのを支援するようなユーザインタフェース操作を提供する．

PhotoLab: Development of image browser
Interface that assists user’s thought
Hiromi Horibe*

Takayuki Itoh

Graduate school for Humanities and Sciences, Ochanomizu University
E-mail:{romiko,itot}@itolab.is.ocha.ac.jp
Abstract
Today, we can easily deal with large number images on personal computers, thanks to improvements ofcomputational performance and evolution of storage spaces. We therefore expect that more number of people
will enjoy the creation and browsing of photo albums on personal computers. Here, we assume that images
which people want to see deliver according to their metadata while they browse photo albums. In this paper wepropose the image browser "PhotoLab", based on our assumption. PhotoLab shows sets of images onto a 3D
space based on their metadata, and provides graphical user interface that assists the delivery of images whichpeople want to see.にも活発に研究されている．
ユーザが計算機上にある大量の画像を鑑賞するときの主要な操作には，ある特定の画像を検索するか，もしくはアルバムを眺めるように多くの画像を順に鑑賞するか，の二種類が多いと我々は考える．大量の画像を個人の計算機上で扱える現在，計算機上で制作されたアルバムの上で，1 枚ずつ画像を鑑賞する，と

1. 概要
近年，計算機性能の向上や記憶装置の発達などにより，大量の画像を個人の計算機上で扱うことが可能になり，またその用途も多様化している．これらの大量の画像を効率よく，かつユーザの意思に基づいて分類・可視化する技術は，非常に有用であり，これまで1いう後者のような操作の機会は，今後ますます増加していくと考えられる．
ここで我々は，冊子として制作される旧来からのアルバムに比べて，計算機上で制作されるアルバムに，どのような新しい展開がありうるかを考察した．大半の閲覧者は冊子のアルバムを，1 ページ目から順に，ページをめくるようにして閲覧すると考えられる．つ
まり冊子のアルバムの閲覧者は，大抵において制作者が貼った順番に従って写真を閲覧するものであり，そこに意外性は存在しにくいと考えられる．それに対して計算機上でアルバムを制作する場合には，ユーザインタフェース技術を利用することで，閲覧者の欲する順番で自由に写真を閲覧させることが可能になる．そしてまるで，ウェブ上のリンクをたどるネットサーフ
ィンによって思わぬ情報を発見するように，ユーザの思考をたどって思わぬ写真に出会えたら，よりエキサイティングにアルバムを閲覧できるのではないか，と我々は考える．
このようなユーザの思考を誘発し，自由な写真閲覧を実現する際に有力な手掛かりとして，撮影日時や被写体名などのメタデータの活用が考えられる．例えば，最初に着目した画像を出発点として，同じ撮影日時の画像→同じ撮影場所の画像→同じ被写体の画像というようにユーザの思考が派生すれば，思わぬ写真の発見を誘発できると考えられる．

本手法では，メタデータに沿って派生するユーザの思考を支援しながら画像を閲覧させるシステム
PhotoLab を提案する．図 1 に示すように PhotoLab は，ユーザが着目した 1 枚の画像に対して，その画像から派生すると考えうる画像をユーザに提示し，ユーザの思考を辿るように反復的に画像を表示する．
ユーザが自身の思考にしたがって自在に多くの画像を眺めて楽しむには，それに適したインタフェースやデザイン性を有する大量画像の閲覧技術が要求されると考えられる．PhotoLab ではユーザの意図にあわせて選択された 3 種類の特徴量やメタデータに基づいて，3 次元直交座標系を定義し，その 3 次元空間上に画像を配置する．このデザインによって，ユーザは3 次元空間を浮遊するように画像を閲覧し，ユーザ自身の思考にしたがって自在な順番で画像を閲覧できる．また PhotoLab では，ユーザが 1 枚の画像を指定
すると，その画像と共通のメタデータを有する画像群を視点のすぐ手前に再配置する機能を有する．ここで別の画像を指定して 3 次元空間に戻ることで，ユーザは 3 次元空間中の全く別の位置に移動できる．またそ
こで別のメタデータを指定することで，さらに別の画像群を視点のすぐ手前に再配置することもできる．このようにして PhotoLab では，ユーザが 3 次元空間上を対話的に操作し，特定の画像と同一のメタデータを有する画像を自在に選択表示させることができる．これによって，閲覧したい画像が派生していく，というユーザの思考にそって画像を鑑賞できるユーザインタフェースが実現できると考えられる．
ここで，定義された座標軸に忠実に画像を配置すると，画像どうしが投影面上で重なり，ユーザによる画像の発見を妨げることがある．本報告ではこの現象をクラッタリングと称する．PhotoLab ではクラッタリン
グ回避の機能も設け，画面上にバランスよく画像を配置する．

2. 関連研究2.1 画像閲覧システム
情報を人間に役立つものとするために，より人間本来の感覚や表現法に適合したメディア情報の提示や，使いやすいインタフェースが研究され，その一環で画像一覧可視化システムの研究も進んでいる．その一例として，階層化された画像群を 2 次元平面上の各領域に配置する一覧可視化手法が知られている[1][2]．これらの手法は，大量の画像群の全体像を一目で把握し，続いて興味ある部分にズームインするような閲覧方法を得意とする．それに対して PhotoLab は，大量の画像を 3 次元空間内にちりばめることで，全体像を把握できるように画像群を表示する．このように，3 次元空間に画像を配置することで，注目する画像群の近くに歩み寄り，遠近感に基づいて注目する画像群にフ

図 1: PhotoLab の概観．(上) 3 次元空間上に配置された画像群の中のある 1 枚のメタデータを選択する．(下) 同じメタデータを持つ画像がユーザに提示される．

2

メタデータを付与するかにあたって，我々は事前に以下のような質問を用意して，調査を行った．
[問] 画像を分類するにおいて，特に重要視しているメタデータは何か．（複数回答可）
我々はアンケート調査の結果，ユーザが特に重要だと判断した上位 5 つ（順に，キーワード，撮影日時，撮影場所，お気に入り度順，色合い）を，PhotoLabにおけるメタデータに採用した．この中でキーワードと位置情報，ユーザが手動設定するものとする．お気に入り度も，写真所有者自身による主観評価に基づいて，0〜5 の数値を付加する．撮影日時はデジタルカ
メラが自動付与した値を用い，色合いは画像の画素値から自動算出する．
ここで PhotoLab では，メタデータから各画像の画面上の位置を決定するため，メタデータの数値化が必要である．上述のメタデータのうち，キーワードと撮影位置は文字情報として付与されるため，これを数値化するためのルール作りが必要である．我々はその一例として，以下のようなルールが有効であると考える．
1. 画像が画面上でアルファベット順や五十音順に並ぶように数値化すれば，索引を使うように画像を探すような操作に有効である．
2. 意味の近い画像が画面上で隣接するように数値化すれば，意味の近い画像を順に閲覧するような操作に有効である．
現時点での我々の実装は 1.に基づいて，アルファベッ
ト順にしたがってメタデータを数値化している．
以上の考えに基づいて一枚の画像メタデータを数値化した例を，図 2 に示す．

ォーカスする，といったような現実感のある操作が可能になると考えられる．
3 次元空間に画像を一覧表示するシステムの例として，web 上でサービスを提供し広く利用されているビューサーチ北海道[3]や，Microsoft が開発した PhotoSynth[4]といったシステムが挙げられる．ビューサー
チ北海道は次世代検索技術（ビジュアル・コンテクス
ト・サーチ）を用い，目的画像を直感的に，つまり右脳的に画像を検索させることを狙ったシステムである．この技術では画像の特徴量のみによって画像をクラスタリングし，テキストには依存していないので，画像の撮影情報などに基づく画像分類はされていな
い．また Photo Synth[4]は写真から 3D モデルを生成し，同時に写真を表示する技術で画像のレイアウトは生成された 3D モデルに依存している．両手法ともに，3 次元空間上における画像の配置方法は PhotoLab と全く異なっている．しかし両者ともに，デザイン性・機能性が高く，3 次元空間への画像配置の意義を実感できる．

2.2 クラッタリング回避
クラッタリングを考慮したアイコン画面配置手法として，文献[5][6]に提案された手法があげられる．文献[5]は，2次元上で重なりのあるアイコンを分散させる方法であり，文献[6]は3次元のクラッタリングを回避しながら，メタデータによって動的に変化する階層構造をブラウジングする手法である．両手法ともに，Delaunay三角形分割を用いてアイコン群の画面上の隣接関係を構築している ．

PhotoLabにおいても同様な考え方に基づき，Delaunay三角形分割を用いて画像間の画面上の隣接関係を構築する．

2.3 画像へのメタデータ付与

メタデータ

数値化前

数値化後

画像にメタデータを付与する既存のアプローチは，主に以下の2種類に大別される．
(1)画像を解析して自動的にメタデータを付与する．
(2)人の記憶に基づいてメタデータを付与する．
(1)については，現在では大半のデジタルカメラが，撮影日時や撮影条件などのメタデータを画像に付与する機能を搭載している．また，画像の意味を解析して自動的にキーワードを付与する技術も研究[7-10]されており，その一部は実用化も進んでいる．
(2)は写真管理ソフトウェアによって実現が可能である．例えばApple社のiPhoto[11]では，写真に対してキーワードを登録することで，検索を容易にする．現時点の我々の実装では，(2)の立場から，ユーザが手動設定したキーワードをメタデータに用いるものとする．

Keyword

Jelly Beans1023

3. 提案内容
3.1 メタデータの数値化
PhotoLab では全ての画像に対して、数種類のメタデータが付与されていることを前提とする．どのような3115×77 pixel

図 2:

Date20070512

PlaceHouse

8

Hue293

293

Fav.Rank

A5

メタデータの数値化

3.2 画像データの 3 次元空間上への配置
PhotoLab では，ユーザが 3 個のメタデータを自由に3 個の座標軸に割り当てられる機能を設けている．ユーザによるメタデータ選択結果に基づいて画像を 3次元空間上に配置することで，見かけや意味の近い画像は近くに配置され，同じメタデータを持つ画像は一直線上に配置される．この配置方法によって，ユーザの見たい画像が派生していく，といった思考にそって画像を鑑賞することが可能になると考える．
図 3 では，横軸を撮影場所，縦軸をお気に入り度順，奥行きを撮影日時として選択し，数値化されたデータをもとに，画像を 3 次元空間上に配置した結果である．

このとき，縦一直線上に並ぶ画像は同じ場所で撮影した画像である．また，上方に配置された画像ほど，お気に入り度順が高いものとなる．さらに，画像一枚一枚の大きさから，撮影日時を直感的に把握することができる．異なる 3 つのメタデータを選択することで，これとは大きく異なる表示結果が得られる．

2 次元投影面座標の取得

三角形メッシュの生成

3.3 クラッタリング回避
図 4 は，画像を 3 次元空間上に配置したときに起こるクラッタリングを示した例である．これは図 3 の一部を拡大表示したものである．このような画像の重複表示を防ぐために，本手法では文献[5][6]と同様に，三角メッシュを用いてクラッタリングを回避し，画像を 3 次元空間上にバランスよく配置する．
一定距離以下の画像を引き離す

図 5:

3 次元投影面の座標系に変換して再配置

クラッタリング回避

Fav.Rank
DatePlace
図 3:

図 4:

クラッタリング回避処理前の配置(左)と，クラッタリング回避処理を施した配置(右)表示結果の例

図 6:

クラッタリング(画像重複表示)の様子

クラッタリング回避処理の効果

3.4 同一メタデータを持つ画像の表示

クラッタリング回避のために PhotoLab では，2 次元投影面の座標系で以下の処理を行う．まず，画像の重心点を頂点にして，三角形メッシュを生成する．本手法では Delaunay 三角メッシュ生成法を用いる．この方ユーザの閲覧したい画像は，メタデータに沿って派生することが多い，と我々は考える．そのような思考を支援するために PhotoLab では，同じメタデータを持つ画像をユーザに提示する機能を設けた．例えば，ある画像と同じ日付の画像を見たいとすれば，画面上で「ある画像」を選択し，さらに「撮影日時」というメタデータを選択する．すると，非常に近い撮影日時をメタデータに持つ画像が，視点の目前に再配置されることでユーザに提示される．その提示された画像群の中から，別の画像を選ぶことで，3 次元空間中の全く別の位置に移動することができる．あるいは，また異なるメタデータを選択すると，そのメタデータと同じメタデータを持つ画像が提示される．このようにPhotoLab では，一枚の画像から次々に派生していく人の思考を辿るようにして画像を鑑賞できる．

法は，平面中に与えられた多数の節点(ノード)を連結して三角形要素の集合を生成する方法であり，三角形要素の最小角度が最大になるようにメッシュを生成する．その結果として，画面上で隣接する 2 画像はメッシュ辺で連結され，その画面上の距離はメッシュ辺の長さとして表れる．ここで長さが一定以下であるメッシュ辺の両端の画像に対して，お互いに引き離すように画像を配置しなおすことで，クラッタリングを回避する．
以上の処理過程を図 5 に，クラッタリング回避処理の結果を図 6 に示す．画像どうしが重なっておこるクラッタリングが緩和され，一枚一枚の画像識別が可能になったことがわかる．

43.5

上で分散できない場合のために，図 8 に示すように，数秒ずつ画像を切り替えるコマ送り表示の実装も進めていく予定である．

ユーザインタフェース

我々の PhotoLab の実装では，以下のようなユーザインタフェースを設けている．
まず 3 次元空間の移動には，フライトシミュレータに代表される既存の 3 次元 CG ソフトウェアと同様に，マウス操作によるズームイン，ズームアウト，平行移動の機能を設けた．これによってユーザは，3 次元空間上を自由に浮遊しているような疑似感覚とともに写真を閲覧できる．この感覚によって，冊子のアルバムを閲覧するときには決められたページ順に閲覧することが多いのと対照的に，自由な順番での写真閲覧を誘発できると考えられる．
ただし，自由に 3 次元空間を浮遊できることで，逆に自分が 3 次元空間のどこに位置し，どのようなメタデータを有する画像を閲覧しているか，見失うこともある．そこで，同じメタデータを持つ写真（つまり一列に並ぶ写真）がどれに相当するか認識しやすくなるように，格子表示機能（図 7 参照）を設け，この ON/OFFを選択できるようにした．
我々は PhotoLab を，誰にでも直感的に操作できるような写真閲覧システムにしたいと考えている．そこで 3 次元操作を含むボタン操作やメニュー操作を，できるだけ簡潔なものになるように設計している．

表1

クラッタリング回避処理による画像の移動量
画像の枚数
座標値の移動量が画像の横幅以上であった画像の枚数
10050
4100
1015027

別の課題として，PhotoLab のユーザが画像を選択的に閲覧した「軌跡」を表示・分析することが考えられる．図 9 に，ユーザの軌跡の表示結果の例を示す．このような軌跡を解析し，統計的傾向を観察することで，ユーザの思考が画像閲覧の過程においてどのように派生することが多いかを解明することができると考えられる．この解明結果は例えば，写真画像の航海者が，今後どのような写真を追加するのがいいかを検討する，などの目的でも有名であろうと思われる．
これらの課題に関しては現在実装中であり，評価実験などによってその効果を検証したい．
数秒ずつ切 り 替える

図 7:

図 8:

同一またはほぼ同じ座標値の画像をコマ送り表示する機能

図 9:

人の思考を辿った軌跡（イメージ）

格子表示 ON の状態

4. PhotoLab の開発における今後の課題
今後の課題としてまず，クラッタリング回避処理の改善があげられる．表 1 は我々の実験における画像の枚数と，クラッタリング回避処理による座標値の移動量が画像の横幅以上であった画像の枚数を示す．

表 1 からわかるように，画像の枚数が多くなると，移動量の大きい画像の枚数が急増する．あまりにも移動量の大きい画像が増加すると，元来のメタデータの意味を表さないような表示結果となることが懸念される．また，全く同一位置に配置された画像については，現時点の我々の実装は有効ではない．そこで今後，クラッタリング回避処理だけでは有効に画像を画面
5

5.

参考文献

PhotoLab の応用例

[1] Bederson, B. B., PhotoMesa: A Zoomable Image
Browser Using Quantum Treemaps and Bubblemaps. UIST
2001, ACM Symposium on User Interface Software andTechnology, CHI Letters, 3(2), pp. 71-80, 2001.
[2] 五味, 伊藤, Li, CAT: 大量画像の一覧可視化と詳細度制御の一手法, 画像電子学会 Visual Computing /情報処理学会グラフィクスと CAD 合同シンポジウ
ム, pp. 1-6, 2007.
[3] ビューサーチ北海道, http://www.view-hokkaido.jp/[4] Photo Synth, http://labs.live.com/photosynth/[5] Watanabe N., Washida M., Igarashi T., Bubble clusters:
an interface for manipulating spatial aggregation ofgraphical objects, UIST '07: Proceedings of the 20thannual ACM symposium on User interface software andtechnology, pp.173-182, 2007.
[6] 宮崎, 伊藤, 重み付き最小二乗法を用いたクラッタリング回避技法の提案, 情報処理学会グラフィク
スと CAD 研究会第 131 回研究発表会, 2008.
[7] 北川，中西，清木，静止画像メディアデータを対象としたメタデータ自動抽出方式の実現とその意味的画像検索への適用, 情報処理学会論文誌：データベー
ス, pp38-51, 2002.
[8] Jane G., Kristina S., Abe C., Functionalities forautomatic metadata generation applications: a survey ofmetadata experts’ opinions, International Journal ofMetadata, Semantics and Ontologies, pp.3-20,2006.
[9] Greenberg J., Metadata Extraction and Harvesting: A
Comparison of Two Automatic Metadata Generation
Applications, Journal of Internet Cataloging, 6(4): 59-82,2004.
[10] Liddy E. D., Allen E., Automatic metadata generation& evaluation, Annual ACM Conference on Research andDevelopment in Information Retrieval, pp.401-402,2002.
[11] iPhoto, http://www.apple.com/jp/ilife/iphoto/[12] WordNet,Similarity,
http://www.d.umn.edu/tpederse/similarity.html[13] Huang J., Kumar S.R., Mitra M., Zhu W.J., Zabih R.,
Image indexing using color correlograms .Proc. IEEE Conf.
on Computer Vision and Pattern Recognition ’97, pp.
762–768, 1997.

PhotoLab は写真画像に限らず，さまざまなコンテンツの一覧可視化に応用が可能である．例えば料理レシピなどの写真付き文書，書籍情報，楽曲，テレビ番組や映画などの映像，などのコンテンツが対象となると考えられる．我々が PhotoLab を通して提唱する，「メタデータによって派生するユーザの思考を支援する」という考え方は，写真画像に限らず多種多様なコンテンツの一覧可視化に共通して，有益なものになるであろうと考える．
書籍情報の場合について具体的に考えてみると，書籍のメタデータとして，本の著者，題名，出版日，ジャンル，お気に入り度順などが考えられる．このように本の情報を PhotoLab で可視化することによって，同じメタデータを持つ本は画面上で一列に並んで表示される．例えば，マンガ書籍は横一列に並ぶ，出版日の同じ書籍は縦一列に並ぶ，といったような表示結果が得られる．このように配置された書籍情報でユー
ザの指定したメタデータと同じ書籍をシステム側から提示することで，ユーザの求める書籍の検索，またある本から派生してたどり着く，思わぬ書籍との巡りあわせを期待できると我々は考えている．

6. まとめ
本報告では，「ユーザが閲覧したい画像がメタデータを通して派生していく」という人の思考を誘発するように画像を閲覧させるシステム PhotoLab を開発した．我々は PhotoLab を，人の思考に辿り着く先にあるインタフェースであると考えている．今後は以下のような課題を解決することで，PhotoLab の開発を進めていきたい．
・

3.1節にあげた考え方に基づき，アルファベット順だ
けでなく意味に基づいてキーワードや撮影場所を数値化する．キーワードにおいては，単語間類似度を

算 出 す る ソ フ ト ウ ェ ア （ 例 え ば WordNet
Similarity[12]）を用いて全てのキーワード間の距離を算出し，デンドログラムを用いてキーワードを一列化することで，キーワードの意味に従って画像を並べることが可能となる．撮影場所についても，全ての撮影場所間の距離を算出し，デンドログラムを用いて撮影場所を一列化することで，撮影場所の近い画像を近くに並べることが可能となる．
・

色合いに代わる画像特徴量の採用を検討する．現時点で我々は，画像中の色分布解析に用いる色コリロ
グラム[13]の採用を検討している．

・

4 章で課題にあげた点を実装し，その評価を進める．

・

5 章での考察に沿って，写真画像以外の応用例を実現する．
6