情報処理学会 インタラクション 2012IPSJ Interaction 20122012-Interaction
2012/3/16

モバイル環境における写真情報の構造化手法の提案
後 藤
濱 崎

孝
雅

行†1,†4 塚
弘†3 武

田
田

浩
英

二†1,†2
明†4

写真内容に基づいた閲覧や探索を実現させるためにメタデータ付与を継続的に行うことはユーザにとって大きな負担である．本研究では写真間にリンクという関係性を示す構造的なメタデータを記述することで写真情報を構造化する「リンクに基づく情報構造化」を提案して，このリンク付けを撮影しながら行うことができる「ReﬂeCam」という新しいカメラアプリケーションを試作した．リンクに基づく情報構造化は，写真同士をユーザがリンク付けしていくことで，リンクを利用した関連写真の閲覧や探索を行うことができる．そして，ReﬂeCam は撮影した写真に基づき過去に撮影した写真を提示することで，撮影しながら思い出を振り返ることができ，さらに提示された写真の中からユー
ザが関係すると思った写真を選択することでリンク付けを行うことができる．評価実験を行った結果，
ReﬂeCam は，ユーザにほとんど負荷を与えずに継続的なリンク付けを実現していることを確認した．

Link-based Picture Information Organizing Methodin the Mobile Environment
Takayuki Goto,†1,†4 Koji Tsukada,†1,†2 Masahiro Hamasaki†3and Hideaki Takeda†4
A lot of people ﬁnd it diﬃcult to add metadata to pictures for browsing and searchingthem based on the content. To solve this problem, we propose the link-based information
organizing method. Using this method, users can browse and search related pictures just by
linking pictures. Addition to this proposal, we developed a novel camera application called
the ReﬂeCam that helps users easily link pictures while taking pictures. In this paper, we describe the concept, development and the experiment of the ReﬂeCam, and introduce featuresand problems of link-based organizing method based on the results of the experiment.

とした探索が必要であり，これまで多くの画像内容に

1. は じ め に基づく検索手法が研究されてきた7) ．しかし，写真の近年，カメラ付き携帯電話や小型デジタルカメラな

意味解釈の実現は，顔認識に限れば実用化され始めてどが普及し，日常的に写真撮影を行うようになったこいるが（例：iPhoto☆ ）まだまだ研究途上であり，現とで，一般ユーザが多くの写真を蓄積・ 共有するよう

実的にはタグのようなメタデータを付与するケースがになった．それに伴い，膨大な写真を多様な視点から多い．よって，ユーザにできるだけ負担無くメタデー

手軽に探索・閲覧したいという要求が高まっている．

タを付与させるための支援が，ヒューマンコンピュー

例えば，以前撮影したあの猫の写真をさがしたい，いタインタラクションの領域で数多く行われてきた3),4) ．

ままで撮った食事だけを閲覧したい，といった要求に

ただし，それらメタデータ付与支援の研究は主にタグ応えるためには，時間軸だけでなく写真の内容を対象のような写真の注釈が主体であり，基本的に文字入力が必要で，特にモバイル環境での継続的な利用は困難であった．一方，写真に継続的にメタデータ付与を行†1 お茶の水女子大学 お茶大アカデミックプロダクション
Ochanomizu University†2 科学技術振興機構 さきがけ
JST PRESTO†3 産業技術総合研究所
National Institute of Advanced Industrial Science andTechnology†4 国立情報学研究所
National Institute of Informatics

うには撮影直後が効果的という報告があり1) ，モバイ
ル環境でのメタデータ付与行為は重要である．
そこで，我々はモバイル環境における写真情報を構造化する仕組みとして「リンクに基づく情報構造化手☆

557

http://www.apple.com/ilife/iphoto/

法」を提案する．リンクに基づく情報構造化は，ユーザが写真間にリンク付けしていくことで写真情報を構造化していく．リンクは，タグのように写真の内容を直接記述することはできないが，関連写真の閲覧や探索

a. 写真撮影に利用可能である．我々は，このリンク付けをユーザに負荷なく継続的に付与させるため，写真撮影行為にリb.

ンク付けを統合した「RefleCam(Reflect+Camera)」という新しいカメラを試作した．RefleCam は，撮影した写真情報に基づき過去に撮影した写真を提示して，ユーザがそれらの写真の中から撮影写真と関係すると感じた写真を選択することでリンク付けを行う．これ

撮影写真
c. 関連するものがあれば写真同士をリンク

撮影写真をもとに
過去に撮影した
写真を提示

図 1 RefleCam のコンセプト
Fig. 1 the Concept of the RefleCamによって，ユーザはほとんど負担を感じずにメタデー
タ付与行為を継続的に行うことができる．

とでリンク付けを行うことができる（図 3）．リンク

2. RefleCam

した写真はサムネイルの縁が光ることでリンクしていRefleCam は，撮影写真の情報に基づいて過去に撮ることを表す．また，写真確認行為を妨げないよう提影した写真を検索・提示して，ユーザが任意に関連写

示する関連写真は一目で一覧できる（スクロールしな

真を選ぶことでリンク付けを行えるカメラである（図くてもよい）枚数（6 枚）に制限している．

1）．ここで，通常の撮影行為をほとんど妨げない候補

撮影写真の類似性に基づく写真提示のアルゴリズム

写真の数を限定し，「選択しない」行為を許容すること

は，撮影場所，撮影時間，デバイスの姿勢，明るさ，でほとんど負荷のないメタデータ付与を実現する．一

画像の色合い，画像の形状の六つの写真特徴を利用す

方，メタデータの付与には構造化という長期的なインる．そして，各特徴に対して撮影写真と検索対象の写

センティブだけでなく，すぐに実感できるようなイン真との差を 1 から 0 の値に正規化し，その合計値の高6)

センティブも重要である ．そこで，RefleCam では，い上位 6 枚を提示写真にしている．位置情報は，徒歩撮影直後に写真提示を行うことで，過去の記憶の想起

圏を一つの閾値として考え，距離差 0km〜3km を 1を促し新しい撮影体験の創出も目指している．例えば，

から 0 の値に正規化し，3km 以上のものは 0 にした．

過去に撮影した付近のお店が提示されることで再び同

なお，実験前の試験的な運用において，撮影場所，撮じお店に行ってみるなどのように，撮影行為がユーザ

影時間，明るさは値が高くなる傾向があったため，正の行動を促す可能性がある．さらに，見覚えのあるも規化した値に 0.5 の重みを掛けた．画像特徴を利用しのを撮影すると過去にも撮影したことに気が付くといて類似画像を検索するにあたって，写真に写っている

うように記憶を探索するといった効果を期待している．

対象そのものを探す特定物体認識と写っている対象のこのように，RefleCam は，撮影直後の思い出の振りカテゴリに属するものを探す一般物体認識の二つの方

返りと超シンプルなメタデータ付与行為によって継続法がある．本研究では，同一カテゴリの写真にリンク的な構造化体験を目指す．

が付与できるようにするため，形状特徴の表現に一般

2.1 過去に撮影した写真の提示と選択

物体認識でよく使われている Bag-of-keypoints2) を用

RefleCam はスマートフォン☆ 上で写真撮影を行う

いた．keypoints を構築するのに必要な学習画像には，と，撮影写真の確認画面においてその写真との類似性

Caltech 101☆☆ を利用した．

に基づいて過去に撮影した写真のサムネイルを提示

2.2 リンクブラウジング

する．提示されたサムネイルを指でなぞっていくと大RefleCam で撮った写真は，一般的な写真閲覧と同

きなサイズで写真閲覧を次々に行うことができる（図じように写真を左へフリックすることで一つ前に撮っ

2）．このとき，表示してある写真の撮影時間，場所もた写真へ移動し，右へフリックすることで次に撮った

提示することで，その写真がどのような状況で撮られ写真へ移動するといった，時間軸にそった閲覧が行えたかを思い出す支援も行う．そして，撮影した写真とる．この時，RefleCam は撮影写真とともにリンクし関連するものがあれば，サムネイルをクリックするこ☆☆
☆

iOS アプリケーションとして実装

558

http://www.vision.caltech.edu/Image Datasets/
Caltech101/

関連写真の 関連写真の撮影時間 撮影場所

撮影時間 撮影場所

なぞる
リンク付けした画像のサムネイル撮影写真 関連写真のサムネイル

関連写真

クリックした画像に切り替わる
リンク･･･

図 2 撮影写真に基づく写真提示
Fig. 2 The RefleCam shows pictures related to the target
picture.

タイムライン

リンクするとサムネイルの縁が光る

図 4 リンクブラウジング
Fig. 4 Users can brows related pictures based on the links

クリックを確認する．また，撮影写真の類似性に基づく提示においてどのような写真の特徴がリンク付けに影響を与えているのかを調べることで，ユーザが付けるリンク

保存の性質を明らかにして，今後の設計指針を考察する．

3.1 実 験 方 法
被験者に RefleCam を使って写真撮影とリンク付け

リンク情報が記録されるを行ってもらい，そのリンク付けの事例をもとにユー
ザ自身にその意図や，操作の負担をインタビューで説

図 3 クリックによるリンク付け
Fig. 3 Users easily link pictures just by clicking.

明してもらうことで，構造化の効果を検証する．
ランダム提示と撮影写真の類似性に基づく写真提示

た写真のサムネイルも表示する．このサムネイルをクの各手法におけるリンク付与数を調べることで，そリックすることでリンクした写真を見ることができる

れぞれの効果を確認する．また，この際に，イベント（図 4）．これによって，ユーザの作成した関係性に基（同じ日に撮影された写真集合）間を繋げるリンクがづいた写真閲覧が行えるようになる．リンクを通して存在しているかも確認する．現在多くの写真管理アプ

表示した写真は新しい時間軸に移動しているため，リリケーションは同じ日に撮られた写真を同一イベント

ンクと時間軸を行き来しながら興味ある写真を可逆的（グループ）として扱って写真を管理しているため，こに探索することができる．このように，写真間にリンの別イベントをつなぐリンクがあることで，従来とはクを付けることで時間軸を飛び越えた新しい閲覧手法

異なった視点による管理が実現できる可能性がある．

を実現できる可能性がある．

撮影写真の類似性に基づく提示を行ったとき，利用している写真特徴のどれがリンク付けに影響を与えて

3. ユーザ評価実験

いるのかを調査する．調査に利用する提示写真においRefleCam で負担なくリンクが付けられるのか，まて，写真撮影後に提示される 6 枚の写真集合のどれか

たどの様なリンクが付けられるのかを調査するため実が選択されなければその写真集合（6 枚）は除外する．

環境での継続的な評価実験を行っている．

これは，提示された 6 枚のうちどれにも選択されていRefleCam はユーザの負担を考慮して関連写真の提ない（リンクが付けられていない）と，関係性にかか

示枚数を限定しているため，写真の選択アルゴリズム

わらずそもそもリンク付けが行える状況でなかった可がリンク付けに大きく影響することが考えられる．そ能性があるためである．

こで，アルゴリズムを (1) ランダム提示，(2) 撮影写

実験の被験者は 3 名（男性 1 名，女性 2 名），実験

真の類似性に基づく提示を比較して，提示手法の効果

期間は約 3 週間である．なお，提示アルゴリズムは，

559

ランダム提示を 2 週間，次に写真の類似性に基づく提撮影写真の各特徴の類似度を単純に集計するアルゴ

示を 1 週間利用させた．撮影枚数などには，特にノルリズムでは，一日の撮影枚数が多いと，リンク付けのマを与えず普段通りの撮影を依頼した．

対象が同一イベント内の写真になる傾向があった．同

3.2 結

果

一イベント内でもリンクが付くことで，タグの共有な撮影枚数とリンク数を表 1 に示す．また，提示写真

どにリンクが役立ちそうだが，過去の思い出を振り返においてユーザが選択した写真（リンク付けした写真）

るというコンセプトにおいては不適切であった．特定と，ユーザが選択しなかった写真において，撮影写真の特徴が選択に寄与するわけでもないので，利用するとの各特徴における類似度の平均を表 2 に示す．そし写真の特徴を切り替える提示アルゴリズムを利用するて，各ユーザの主だったリンク事例を図 5，6，7 に示のが良いかもしれない．

す．図中に書かれてある写真のつながりの意味は，イ

改善点として，近い時間に撮影した写真は提示させンタビュー中に被験者自身が回答したものである．

ないようにするとか，また，関連写真がない場合は提まず，ランダム提示と類似性に基づく提示を比較す

示写真を入れ替えるといったことが考えられる．

ると，すべてのユーザにおいて類似性に基づく提示のリンク付けの目的によるが提示写真の類似度におほうが一枚あたりのリンク数が多かった（表 1）．こいて，選択した写真，選択しなかった写真において顕のことから，提示アルゴリズムの効果はあったと考え著な違いが存在しない場合があり，有益な関係付けをる．インタビュにおいても，アップデート後（類似性行うには，ユーザ自身の判断が重要である．そして，に基づく提示）のほうが関係する写真がでてきたとい

ユーザがつけた関係は，イベント間をつなげるものもう意見があった．リンク付けの負担は，通常のカメラ

多く閲覧体験を向上させるようなつながりである．

撮影と比べてとくに負担ではないという意見だった．
次に，提示写真の類似度をユーザが選択した写真と，

4. 関 連 研 究

選択しなかった写真とで比較すると，ユーザ A では，RefleCam が持つ，ある写真に対して関連する写すべての特徴において，リンク付けした写真の方がリ真を提示する機能は，情報検索の分野では query-by-

ンクしてない写真よりも高い値になっている（表 2）．

example9) と呼ばれ，様々な研究がなされており，近ユーザ B は，位置情報の類似度は顕著に違うが，他年のスマートフォンの普及によってモバイル環境におの特徴が目立ってリンク付けに貢献していない．ユー

いても多くの試みがある（例えば，GoogleGoggles☆ ）．

ザ C も，ユーザ B と同じく，特定の特徴が際立って本研究では，リンク付けの候補の提示と，撮影写真にリンクに寄与しているわけではない．ユーザ A のリ

基づく写真閲覧を実現するためにこの技術を用いた．

ンク事例を見ると，同じカメラアングルの写真を中心

これまで，メタデータ付与を軽減するため多くの研にリンク付けを行っていることが確認できる（図 5）．

究が行われてきた．このアプローチを大きくわけると

ユーザ A は同じ日に何枚も撮影を行っており，同一イ

メタデータ付与を支援する方法，コミュニケーションやベント内で類似する写真を中心にリンク付けを行ったコンテンツ作成の中でメタデータが自然と付けられる

ため，すべての特徴において高い類似性を示していた方法がある．例えば，メタデータ付与の支援システムと考えられる．ユーザ B のリンク事例をみると，写真として，Shneiderman ら4) はあらかじめデータベース

をみただけでは関係がわからないリンクのつながりがに登録した人名等のラベルを，写真上へ Drag&Drop

多く存在した（図 6）．また，リンクのつながりによしメタデータを付与するシステムを提案している．まるグループが存在しているが，同一グループでも，リた，Sigurbjörnsson ら5) のようなタグ推薦システムなンク付けの視点が異なったものが混在していた．このどもある．コミュニケーションやコンテンツ作成の中ため，各特徴の類似度が選択した写真と選択しなかっで自然にメタデータが付けられる方法として，Lieber-た写真で差があまりなかったと考えられる．ユーザ C

man ら3) は，撮影した写真をメールに添付して送るともリンク事例を見ると，写真の特徴に関係なく同じイいう行為を利用し，メール本文の写真の説明を写真のベントにおいて撮影した写真を中心にリンクを繋げて

メタデータとして付与を行っている．Watanabe ら8)いた（図 7）．

は撮影者の注目部分を矢印で指し示した写真を作成す

3.3 考

察

ることができるカメラを提案している．

ユーザの写真選択負担を抑えるために関連写真の提メタデータを継続的に付与するには，ユーザの負荷

示枚数を押さえた設計でも，撮影写真の類似性に基づ
く提示を行うことで高い頻度でリンク付与が行える．

☆

560

http://www.google.com/mobile/goggles/表 1 撮影枚数とリンク数
Table 1 The number of pictures and number of links.

ユーザ

撮影枚数

リンク数

撮影枚数

ユーザ A
ユーザ B
ユーザ C

113
35
37

231
35
40

54
28
26

ランダム提示
リンク数(別イベント)
リンク数/枚10(5)25(17)
18(1)

撮影枚数

0.19
0.89
0.69

59
7
11

類似性に基づく提示
リンク数(別イベント)
リンク数/枚221(15)
10(7)
22(1)

3.75
1.43
2.00

表 2 提示写真の特徴別類似度（平均 ± 標準偏差）
Table 2 The similarities of picture (average±SD)
ユーザ A

選択写真
非選択写真

ユーザ B

選択写真
非選択写真

ユーザ C

選択写真
非選択写真

位置
0.49±0.01
0.25±0.21
0.48±0.01
0.23±0.23
0.5±0.00
0.47±0.10

時間
0.48±0.02
0.42±0.05
0.48±0.02
0.46±0.03
0.49±0.02
0.38±0.06

明るさ0.49±0.01
0.46±0.05
0.45±0.05
0.43±0.05
0.49±0.01
0.45±0.03

姿勢
0.95±0.09
0.82±0.13
0.86±0.12
0.82±0.13
0.90±0.08
0.88±0.07

色0.72±0.14
0.45±0.22
0.54±0.20
0.65±0.24
0.49±0.11
0.49±0.09

形状
0.61±0.13
0.39±0.25
0.50±0.06
0.47±0.11
0.43±0.08
0.49±0.07

カメラアングルつながり
食事つながり風景つながりメモつながり違うイベント間のつながり
同一イベント内のつながり
図 5 ユーザ A のリンク事例
Fig. 5 The linking case of user A.

食事に関連する
人つながり

小物つながり

2回目のWedding Fair
つながり

食品つながりWedding Fairつながり

学会つながり夕食つながりPCつながり その場にあった物つながり同じイベントつながり
かわいいつながり

同じ物つながり違うイベント間のつながり
同一イベント内のつながり

関連人物つながり

図 6 ユーザ B のリンク事例
Fig. 6 The linking case of user B.

図 7 ユーザ C のリンク事例
Fig. 7 The linking case of user C.

を下げるだけでなく，短期的な効果が得られるような

5. 議設計が重要である．RefleCam では，過去の写真を撮
影直後に提示することで，過去の記憶を振り替えりな

論

リンク構造は Web の特徴の一つでありリンク付け

がら写真の構造化を行う機会を提供する．

は広く利用されているが，ユーザが日常的に付けるメ561

タデータとしてはあまり利用されていない．リンク付

参 考

けにはリンク先のリソースを選択する必要があり，これを探し出すのは必ずしも容易ではないからだと考える．つまり，リンク付けは，文字入力が必要ない反面，リンク先の選択という点でタグより複雑である．タグ
付けは，適切な内容がすぐ思いつかなかったり，モバ
イル環境では文字入力がしにくかったりと継続性に難がある．リンク付けはタグにくらべ構造化が限定的ではあるがクリックだけでおこなえることができ，また相対的な判断がおこなえるため継続しやすいと考える．
そして，限定的であっても継続的にリンクが付与でき
ると，より表現豊かなスライドショウの実現など，写真閲覧体験を向上させることができると考える．また，
写真間にリンクが存在するとタグ付きの写真からタグを取り込むことができるため，限定的な構造化というリンクの欠点をある程度補えるのではと考える．
写真への継続的なメタデータ付与には，撮影直後というタイミングにおいていかにユーザに付与させるかが重要であるが，様々な状況が想定されるモバイル環
境では付与手段が一つではなく場合に応じた多様な手段が存在していることが望ましい．それら多様な手段を併用していくことによって継続的な写真情報の構造化が実現すると考える．

6. 結

論

本研究では写真間にリンクという関係性を示す構造
的なメタデータを記述することで写真情報を構造化す
る「リンクに基づく情報構造化」を提案した．リンクに基づく情報構造化は，写真同士をユーザがリンク付
けしていくことで，リンクを利用した関連写真の閲覧や探索を行うことができる．このリンク付けを撮影しながら行うことができる「RefleCam」というカメラ
アプリケーションを試作して評価実験を行った結果，ユーザ負担をより軽減するため提示枚数を抑えた提示
でも，写真情報を利用することによって多くのリンク
付け行為が行われており，ユーザの判断を反映した多様なリンク構造が作られていることを確認した．これ
により，リンクを利用した閲覧，探索が実現できると考える．今後は，評価実験で得た課題を反映しつつ，
実環境での長期的な運用を通してシステムの効果を検証・改善していきたい．
謝辞 本研究の一部は，科学技術振興機構さきがけ
プログラムの支援を受けた．

562

文

献

1) Ames, M. and Naaman, M.: Why we tag: motivations for annotation in mobile and online
media, Proceedings of the SIGCHI conferenceon Human factors in computing systems, New
York, NY, USA, ACM, pp.971–980 (2007).
2) Csurka, G., Dance, C. R., Fan, L., Willamowski, J. and Bray, C.: Visual categorization
with bags of keypoints, In Workshop on Statistical Learning in Computer Vision, ECCV,
pp.1–22 (2004).
3) Lieberman, H., Rosenzweig, E. and Singh, P.:
Aria: An Agent For Annotating And Retrieving Images, IEEE Computer, Vol.34, No.7, pp.
57–61 (2001).
4) Shneiderman, B. and Kang, H.: Direct Annotation: A Drag-and-Drop Strategy for Labeling
Photos, Proceedings of the International Conference on Information Visualisation, pp.88–95(2000).
5) Sigurbjörnsson, B. and van Zwol, R.: Flickr
tag recommendation based on collective knowledge, WWW ’08: Proceeding of the 17th international conference on World Wide Web,ACM, pp.327–336 (2008).
6) Takeda, H. and Ohmukai, I.: Building semantic web applications as information/knowledge
sharing systems, in End User Aspects of the
Semantic Web, Colocated with ESWC 2005
(2005).
7) Veltkamp, R. C. and Tanase, M.: ContentBased Image Retrieval Systems: A Survey,
Technical Report Technical Report UU-CS2000-34, Department of Computing Science,
Utrecht University (2000).
8) Watanabe, K., Tsukada, K. and Yasumura,
M.: WillCam: a digital camera visualizing
users. interest, CHI ’07 extended abstracts on
Human factors in computing systems, ACM,
pp.2747–2752 (2007).
9) Zloof, M. M.: Query-by-example: the invocation and definition of tables and forms, Proceedings of the 1st International Conference on
Very Large Data Bases, New York, NY, USA,ACM, pp.1–24 (1975).