情報処理学会研究報告
IPSJ SIG Technical Report

環境中に遍在する無線デバイスの検出履歴を用いた関連写真抽出手法
徳網 亮輔1,a)

河野 恭之1,b)

中村 聡史2,c)

概要：デジタルカメラの普及により我々は多くの写真を保有するようになったが，大量の写真を整理/閲覧する方法は十分に整備されていない．ジオタグや顔認識といった既存手法は，建物内での GPS 精度の問
題や顔が映っていない写真には適用できない問題がある．本研究では，それらを補うため写真参与者と周辺状況を加味した関連写真抽出を提案する．写真撮影時の周辺環境中に存在した Bluetooth(BT) デバイス
及び WiFi 基地局を記録し “デバイスタグ” として撮影時刻をキーに写真に関連付ける．BT 機器の多くは人物に付随し，WiFi 基地局の多くは位置が固定されている．デバイスタグを基に写真を抽出することで，写真中に顔が写らない人物や，建物内外問わない位置関係に基づいた写真の抽出を可能にする．また，撮
影時刻・撮影位置での類似度を加味した関連写真の順位付け，デバイスタグが人物と場所のどちらに由来するものかの判定，有用と思われるデバイスタグの抽出を行いユーザの閲覧を補助し，意外な関連性を持
つ写真の抽出，現在の周辺状況に関連する写真の受動的閲覧を行う．

1. はじめに本研究では，撮影者の周囲に遍在する Bluetooth と WiFi
基地局の検出履歴を参照することで，撮影者と一緒に居た

決し，人々がより楽しめるよう大量の写真を整理/閲覧しやすくする方法が必要である．

2. 既存手法・関連研究

人物や周囲の環境に基づく関連写真の抽出を行う．デジタ

Apple 社の iPhoto や Google 社の Picasa などの写真管

ルカメラの普及と高性能化により，私たちは低コストで多理ソフトウェアは，ジオタグや顔認識による写真の抽出をくの写真を撮影しデジタルデータで保存できるようになっ

サポートしている．ジオタグは，GPS を用い写真撮影時のた．素晴らしい風景，日々の食事，レポートの締切が書か位置情報をメタデータとして画像に埋め込む手法であり，れた掲示物，ペットの写真，思い出として，メモとして，友写真を地図上にマッピングして閲覧することが可能になる．

人に伝えるため，ソーシャルメディアにアップロードする

この手法は GPS の精度に依存しており，建物内での撮影ため，人々は様々なものを様々な目的で写真に撮り，記録の際無視できない誤差が発生し，撮影者の認識と異なる位する．過去の写真を見ることで，当時の記憶が呼び覚まさ

置情報が埋め込まれる場合がある．また，日常的に生活しれ，忘れてしまったことを思い出せる．また，後日見返すている空間で撮影した写真が増えた場合，大量の写真が地ことを目的とした記録としての写真だけでなく，人々は写図上に表示されることになり，ユーザが目的の写真を見つ

真の共有をコミュニケーションの 1 つとして楽しむ．人々

けることが前述の GPS 誤差の問題と相まって困難になる．

は大量の写真を活用するようにはなったが，大量の写真を顔認識は，写真中に写っている人物の顔の特徴を基に人整理/閲覧する方法はまだ十分に整備されていない．写真

物ごとの写真の分類を可能にする手法であるが，そもそもライブラリが肥大化するにつれ，目的の写真を探し出すこ

顔が写っていない写真には適用できない問題がある．顔認とは困難になり，写真は死蔵されやすくなる．また，撮影識の精度にも課題があり，照明状態が悪い場所で撮影した者が写真を整理する負担を避けたいため，新たに写真を撮

写真や横顔の写真からは，正しく人物を認識できない．写影する心理的障壁ができる問題もある．こうした問題を解真と人物の対応付けには，人名や正解データの入力が要求され，画像中から顔領域や人物の特徴を抽出する画像処理

1
2
a)
b)
c)

関西学院大学大学院理工学研究科
京都大学大学院情報学研究科 附属情報教育推進センター
rtokuami@kwansei.ac.jp
kono@kwansei.ac.jp
nakamura@dl.kuis.kyoto-u.ac.jpの計算コストは大きい．
部分画像の特徴を利用した類似画像の抽出 [1][2] などの画像処理による関連写真抽出も行われている．しかし撮影情報処理学会研究報告
IPSJ SIG Technical Report

者のコンテキストが含まれていない画像からは画像処理によって関連を見出すことは原理的にできない．
五味ら [3] や捧ら [4] は，撮影時刻，位置情報，顔認識の3 つを組み合わせた手法を提案しているが，前述の GPS と顔認識に由来する問題は解決しておらず，顔の含まれていない多くの写真を対象とすることはできない．
写真検索技術の目的に，共有・ストーリーテリング・思い出を補助することが挙げられるが，それだけでなく Ben
ら [5] は，エンタテインメント性に重点を置くユーザが存

図 1 Bluetooth の通信プロトコル概略

在することを示した．Ben らはまた，それらのユーザは加えた注釈情報を基にした写真同士の繋がりから得られる偶然の発見を楽しみながら写真を閲覧していることを示した．そうしたユーザを支援するためには，目的の写真を素Bluetooth は個人用の機器に搭載され，WiFi デバイスは各早く見つけたり多数の写真を可視化することに特化した従

家庭や飲食店，大学やショッピングセンター等の施設内の来研究されてきたシステム [6], [7] 等と異なり，ユーザが予各区画に設置されている．これらのデバイスの検出履歴に期しない関連性を発見できる写真抽出手法が必要である．

は，撮影者の周囲に居た人物や撮影者の位置の情報が含ま中村 [8] は，過去撮影したライフログ写真を閲覧することれていると考えられる．

による記憶の定着と楽しみを考察し，受動的閲覧について述べている．彼はまた，受動的閲覧の際，無作為な写真を

3.2 システム設計

抽出し提示した場合はすぐに飽きてしまい，利用者が関連

撮影者の周囲に存在する BT，WiFi 機器を周辺環境情報性を見いだせる写真の提示が必要であると述べている．増として写真と対応付け，関連写真を閲覧できるブラウザを

井 [9] は，検索条件を明示的に示すことができない状況に設計する．本システムの目的の一つに，人物や建築物内でおいて，ユーザが着目中の情報に近い情報をシステムが自の位置を基準とした写真の抽出がある．写真と対応付けら

動的に提示し，ユーザは関連リンクをクリックするだけでれたデバイスそれぞれから，関連するデバイスと写真を閲

連想的な検索が行える “近傍検索” システムの有用性を述覧できるインタフェースが必要である．従来，ユーザが自べている．

身の写真ライブラリから特定の写真を抽出したい場合は，本研究が着目する Bluetooth と WiFi の検出履歴を用い写真を撮影した時期にあたりをつけ写真を時系列にソートた先行研究に Hui ら [10] の手法が挙げられる．Hui らは，して探す方法と，撮影場所からその周辺で撮影された写真

ユーザの周囲の Bluetooth と WiFi 基地局を継続的に検出を探す方法が用いられてきた．これらは想起した特定の時することで人間関係のクラスタリングを行ったが，具体的刻/位置から，増井 [9] の述べる “近傍検索” を行なっていなアプリケーションへの応用には至っていない．

ると見なすことができる．写真同士の関連性は，PC 内の

3. システム概要
3.1 Bluetooth 及び WiFi デバイス

ファイルを探索する場合と異なり，タイムスタンプだけでなく撮影位置の隔たりや，関連するデバイスの共通度合いが重要になると考える．それぞれの関連性を用いて写真をBluetooth(BT) とはデジタル機器用の無線通信規格であ抽出するだけでなく，複数の関連性を加味して写真を抽出る．BT の多くは携帯電話，PDA，ノート PC，ワイヤレすることで目的の写真を発見しやすくなると期待できる．

スタイプのマウス・キーボードに搭載され，近距離での無また，ユーザは一部の身近なデバイス以外の名前や ID を線通信に用いられている．BT デバイスは他の機器からの記憶しているとは考えにくいため，システム側で特徴的な

Inquiry(問い合わせ) に応答する性質を持つので通信範囲

デバイスをユーザに提示できることが望ましい．

内にある機器から検出が可能である．BT デバイスの通信

本システムのもう一つの目的として，エンタテインメン

プロトコルの概略を図 1 に示す. BT と同様に広く普及しト性のある関連写真抽出がある．従来手法では見いだせなている無線通信機器として無線 LAN が挙げられる．無線

かった関連性に基づいた写真の組み合わせ提示することで，LAN アクセスポイントは，BT と同様に名前と固有の ID

ユーザは楽しんで閲覧できると考える．また，ユーザの現を持ち，Stealth Mode でない無線 LAN アクセスポイント

在の周辺状況に関連する写真をシステムが適時提示するこは通信可能範囲内から検出できる．本研究では無線 LANとでエンタテインメント性と受動的閲覧を補助する．これ

アクセスポイントを通称 WiFi デバイスと呼ぶ．

らの要件に基づき，関連写真抽出システムを設計した．シ

ラップトップやスマートフォン，タブレット型 PC の普及に伴い，両デバイスは環境中に遍在している．主にステムの概略を図 2 に示す．

情報処理学会研究報告
IPSJ SIG Technical Report

写真の Exif データ中の撮影時刻と GPS 情報を参照し関連写真の抽出に利用する．また，デジタルカメラが出力する

HDR 合成*2 された写真等の，同一位置，同一時刻，同一対象を撮影した複数枚の写真は，統計値への影響を避けるた
め，重複を除去し 1 枚のみデータセットに含めた．

4.3 デバイスタグ作成
検出履歴から得られた BT，WiFi デバイスを撮影時の周辺環境情報と見なし各写真と対応づける．写真の撮影時刻とデバイスの検出時刻を基準に，撮影時にユーザの周囲に存在した各デバイスの ID を “デバイスタグ” として写真に付与する．Inquiry の間隔と 4.1.1 節で述べたデバイス検出
図 2 システム概要

漏れによって，環境中のデバイスが検出可能範囲に位置し始めてからログデータに記録されるまで若干のタイムラグが発生する場合がある．本研究では，20 ± 5 秒の Inquiry

4. 入力データの収集
4.1 検出履歴の収集間隔と検出漏れによるタイムラグを十分に許容する窓幅に3 分を採用し，撮影時刻の前後 3 分の間に一度でも検出された全てのデバイスを「撮影時に周囲に位置したデバイス」

BT と WiFi デバイスの，“通信範囲内にある機器から検とみなして対応付け，リンク構造を作る．また，写真にタ出が可能” という性質を利用し，撮影者の周囲で検出されグ付けされたデバイスを写真関連デバイスと呼び，デバイたデバイスの MAC アドレスとデバイス名を時刻と共に記スタグを通じてデバイスに結びついた写真をデバイス関連録してゆく．BT 及び WiFi デバイスの検出履歴を収集す写真と呼ぶ．

るため，筆者らは Linux と Android 上で動作するロガー
アプリケーションを実装した．アプリケーションは，一定

4.4 写真間距離
関連写真を抽出するため，時間・空間・周辺状況それぞ

時間ごとに周囲の BT デバイスへの Inquiry と Responseの待機，検出可能な WiFi デバイスの記録を行い，検出時

れの類似度を表す指標として時間距離，空間距離，デバイ

刻，デバイス名，MAC アドレスをログファイルへ書きだ

スタグ距離を定義した．ある写真 Pa と Pb の各距離を以下す．ユーザはロガーアプリケーションを実行しているデバのように計算する．距離が小さいほど，写真同士は強く関イスを携帯しながら生活することでユーザ周辺の BT 及び連していると見なすことができる．
撮影時刻の隔たりを表す時間距離は撮影時刻の差を利

WiFi デバイス情報を刻々と記録してゆく．
4.1.1 デバイス検出漏れ
環境中のデバイスがロガーの至近に位置していても，検用し，Dtime (Pa , Pb ) = |time(Pa ) − time(Pb )| で表される．
時間距離 Dtime は，1 時間の差を 1 としている．

出されないことがある．これをデバイスの検出漏れと呼ぶ．

空間距離の計算には，2 点の緯度経度から距離を近似的

BT デバイスの検出の際，次の Inquiry までに Response がに求める Hubeny の距離計算式 [11] を用いる．写真間の空

返ってこない，通信距離限界や遮蔽物により Inquiry もし間距離 Dgeo は Dgeo (Pa , Pb ) = Hubeny(geo(Pa ), geo(Pb ))くは Response が届かない，受信側のデバイスが Busy 状態で表される．単位はメートルを用いる．

で Response を返さない，等の理由で検出漏れが生じるこ

デバイスタグ距離を求めるため，Jaccard(A, B) = |A ∩とがある．Busy 状態に関しては，BT ハードウェアの性能

B|/|A ∪ B| で表される集合間の距離を表す指標の Jaccard

や相性に依存するため正確な原因究明は難しいが，確認さ係数を利用する．Jaccard 係数を利用したデバイスタグ距離

れた特定のデバイス間での検出漏れは，ロガー側で Inquiry

Dtag を, Dtag (Pa , Pb ) = 1 − Jaccard(tags(Pa ), tags(Pb ))間隔にランダムに (-5 〜 +5) 秒のウェイトを挿入することのように定義する．
これらの 3 つの次元中での写真間の距離を求めるためで緩和できることを確認した．

Dstdeuc =4.2 写真の収集

∑n

k=1

√

((ak − bk )/sk )2 で表される標準ユーク

リッド距離 Dstdeuc を用いる．ただし sk は，第 k 次元の取ユーザは日常的にロガーを携帯し，GPS 機能付きデジタ

りうる値の標準偏差．標準ユークリッド距離は，各次元をそルカメラまたはスマートフォンで写真を撮影する．一般的の次元の標準偏差で割ることで値の分散を標準化し，距離をなデジタルカメラで撮影された写真には，撮影時の様々な情報が Exif 形式で付与されている．撮影者が収集した各*2

high dynamic range imaging

情報処理学会研究報告
IPSJ SIG Technical Report
表 1
期間

対象データセット概略
2010 年 9 月 30 日 〜

2013 年 1 月 3 日
延べ写真枚数

14,171 枚

総ユニークデバイス数

54,286 デバイス
(BT 26,214, WiFi 28,072)

対象写真枚数

5,342 枚タグ付デバイス数

7,728 デバイス
(BT 2,926, WiFi 4,802)

写真間リンク数

195,909

算出できる．各次元の距離関数の集合を F = {f1 , f2 ...fn }で表し, 多次元中での写真 Pa と Pb の標準ユークリッド距離

Ds を Ds (Pa , Pb , F ) =∑n

k=1 (fk (Pa , Pb ))/sk と定義する．

図 3 関連写真デバイスとデバイス関連写真の提示

時間距離，空間距離，デバイスタグ距離の 3 つの次元中での写真 Pa と Pb の距離は Ds (Pa , Pb , F = {Dtime , Dgeo , Dtag })デバイスのリンク構造をたどってゆくことで周辺環境に共で表される．

通点のある写真を抽出し閲覧できる．実際に 6 章で実装する写真とデバイスのビューには，閲覧中の写真や選択中の4.5 データベースの作成
写真のメタデータ，環境中のデバイス，その対応付けを保持したデータベースを作成し，検索性を持たせる．デー

デバイスを中心に関連写真が配置された地図などの情報も併せて提示することで，関連写真の選択や撮影時の記憶の想起を補助する．

タベースの内容を参照しながら 4.4 節で定義した各写真間距離を計算する．従来手法と関連研究において時空間での5.2 写真間距離を利用した抽出距離は広く利用されているのと，写真間距離の計算コスト

ユーザがある写真を閲覧する際，4.4 節で定義した写真を低減させるため，デバイスタグによって関連付けられた間距離に基づき関連写真を並び替えることで目的に応じた

写真同士のみで写真間距離を算出し，データベースに保存

関連写真を抽出する．時間距離 Dtime ，空間距離 Dgeo ，デした．

バイスタグ距離 Dtime の各距離で関連写真をソートするこ

前節までに述べた方法で，実際に第 1 著者 (以降「筆者」)とで，撮影時刻，撮影位置，周辺状況のそれぞれで近傍検が無線デバイス検出履歴と写真を収集し，それらを対応付索を行うことができる．さらに標準ユークリッド距離 Ds

け写真間距離を算出した．データの収集は 2010 年 9 月 30を用いることで 3 つの距離を複合させた関係性で写真を日から 2013 年 1 月末現在まで継続中である．本研究では，ソートできる．Ds を計算する際の距離関数の集合 F を変得られたデータのうち，2010 年 9 月 30 日から 2013 年 1 月

更することで，特定の関連性に着目した抽出を行える．例

3 日の間に収集した写真と検出履歴を基にデータセットをえば F = {Dgeo , Dtag } として求めた Ds で関連写真をソー作成した．こうして得られたデータセットの概略を表 1 にトすることで，ある写真から距離的に近く周辺状況が近い示す．

写真を上位に表示できる．また，F = {Dtime , Dgeo } とし

5. 関連写真の抽出
5.1 共通デバイスタグを利用した抽出
各写真と各デバイスは，デバイスタグによって関連付けて Ds を求め距離の降順でソートすることで，何らかのデバイスタグで関連しているが撮影時刻と撮影位置が離れている順に写真をソートでき，意外な写真同士の繋がりを発見できる．

られている．ユーザがある写真を閲覧する際，システムはある写真の関連デバイス集合の各デバイスの関連写真，つ5.3 デバイスの属地性判定

まりデバイスによってリンク関係のある写真集合をその写

デバイスタグには，携帯電話等の移動するデバイスが元真の関連写真として提示する．この様子を図 3 に示す．同となったものと，WiFi アクセスポイント等の環境中に固定

様に，各デバイスタグを参照した際にもデバイスの関連写されたデバイスが元となった 2 種類に分けられる．これら

真を提示する．

をそれぞれを Nomadic タグ，Local タグと呼び，おおむ

ユーザがシステムを利用中に目に留まった写真や自身のね Nomadic タグが人物に，Local タグが場所に対応付けら記憶する撮影時刻または位置を起点にある写真を選択する

れる．検出履歴からデバイスが環境中に固定されているかと，前述の関連写真がシステムから提示され，ユーザは各どうかを判定することはできないが，ユーザが人物をキー関連写真と関連デバイスを参照できる．各関連写真と関連に関連写真の抽出を試みる場合と，場所をキーにする場合

情報処理学会研究報告
IPSJ SIG Technical Report

では，得られる写真集合の性質は全く異なる．得られる写真集合がどちらの性質を持つのか分からないままデバイス
タグを選択するのは不便なため，システムがデバイスに関連する写真集合の GPS 情報から属地性を判定し，デバイ
スタグを表示する際に注釈を付けたい．ここでは位置座標の分散値と決定木を利用し属地性の判定を試みた．デバイスの関連写真集合内の写真に付与されている GPS 情報の
緯度方向と経度方向の分散を計算し，間接的にデバイスの検出座標の分散を求める．Bluetooth，WiFi それぞれの関

図 4

上: 写真サムネイル表示例 下: デバイスタグ表示例

連写真の多い上位 50 デバイスタグを抽出し，人力で属地判定の正解データを与えた．緯度方向の分散 slat と経度方向の分散 slng の和 S を説明変数，属地判定の正解データ
を応答変数として CART*2 を適用し決定木を作成した．こサムネイルには，写真の撮影日時や GPS 情報の有無，関の決定木を基にデバイスの属地性を判定し，結果をデバイ連付けられたデバイス数を付与した．デバイスタグを表スタグに注釈付け表示することで，ユーザはタグが人物と示する際，由来するデバイスが BT か WiFi かによって背場所のどちらに由来するデバイスか確認しながら各タグの景色を変え，5.3 節で述べたデバイスの属地性をアイコン

関連写真を閲覧できる．

として表示し，何枚の写真が付与されているか，何日に渡って関連する写真が存在するかを表示する．図 4 に表示

5.4 有用なデバイスタグの抽出例を示す．BT に由来するデバイスタグは背景色を青で，作成した多数のデバイスタグの中から，ユーザが関連写

WiFi に由来するデバイスタグは緑で表示する．図の上か真を閲覧する際に有用なものを抽出したい．ここでは，何ら，Nomadic と判定されたデバイスタグには人を表したア

日にも渡って写真が撮られているデバイスタグ，撮影位置

イコンを，Local デバイスタグは家を表したアイコンをタが分散しているデバイスタグを有用なものとして抽出しグの左側に表示している．デバイス名の左の括弧内にデバた．前者はユーザの日常生活空間に長期的に存在するデバ

イス関連写真数を，さらにその左のオレンジ色の領域にカイス，後者は撮影者と共に移動するデバイスや異なる場所

レンダーアイコンと関連写真の継続撮影日数を表示していで会合したデバイスが含まれている．ユーザは抽出されたる．また，デバイス名の一部からデバイスタグを検索でき各集合からデバイスタグを選択することで，特徴的なデバる機能を実装した．

イスを始点として近傍検索を行ったり，予期しない写真同士の関連性を発見できる．

6. 写真ブラウザ

6.1 写真ビュー
写真ビューはユーザが選択した写真の詳細情報とデバイ
スタグによってリンクされる関連写真を閲覧するビュー

一般的な写真ブラウザで利用できる撮影順にサムネイル

である．図 5 に写真ビューの例を示す．選択中の写真 (左を表示したビュー，写真の GPS 情報を基に地図上にピンを上)，写真に関連するデバイスタグ，前述のビューと同様配置したマップビュー，特定の期間内において撮影した写に関連写真をプロットした地図が上部に表示され，関連写

真を地図と共に閲覧できる期間ビュー等の基本的なビュー

真のサムネイル群が下部に続く．サムネイルにマウスオーを実装した．次に，選択した写真からその詳細情報と関連

バーすると対応する地図上のピンが跳ね，その写真の撮影

写真を閲覧する写真ビュー，デバイスタグとその関連写真

位置が分かる．

を閲覧するデバイスタグビュー，受動的閲覧を支援するス

図中の選択中の写真は，2011 年 4 月 10 日に清水寺で撮

トリーミングビュー等の機能を実装した．ユーザは，写真

影された写真である．他の観光客の携帯電話と思われるデからデバイスタグを選択し関連付く別の写真を閲覧した

バイスタグが多数関連付き，清水寺を観光中の写真が関連

り，地図上から選択した写真から時空間的共に離れた関連付けられている．デバイスタグに付与されたデバイスの継写真を抽出するなど，いくつものビューの間のリンク構造

続撮影日数が 1 日なことから，これらのデバイスが清水寺をたどり，人物や場所に関連する写真を閲覧したり，意外

観光中にのみ近接していた一期一会のデバイスであることな関連性を持つ写真の組み合わせを発見できる．

がみてとれる．

ユーザが写真やデバイスタグの関連リンクを選択し探

5.2 節で述べた複数の写真間距離に応じた順位付けは，サ

索しやすくするため，付帯情報も併せて表示する．写真のムネイル群上部の各ボタンでソートに利用するオプション
を変更できる．また，昇順降順や，GPS 情報の無い写真の*2

classification and regression tree

表示・非表示を一括で切り替えることなどもできる．

情報処理学会研究報告
IPSJ SIG Technical Report

場所では一般的な写真管理アプリケーションの方が撮影時刻を基にした場合と同様の理由で探索しやすい．しかし大学構内等の生活圏内では，想起した位置周辺に多数の写真が存在するため，一般的なアプリケーションで地図から探索を行うのは困難であった．それに対し本システムを利用した場合は，想起した地図上の位置から，「目的の写真と同じ部屋で撮られた」等の関連性が高い写真を発見し，関連する Local タグを用いて抽出することで，容易に目的の写真を発見できた．
曖昧な撮影時刻や位置から探索する場合，当たりをつけた写真からデバイスタグや関連写真をたどって目的の写真を探索できる本システムのほうがユーザの推測を利用できるため，探索しやすいと感じた．一般的な写真管理アプリ
図 5

写真ビュー表示例

ケーションで時刻を基準に写真を探索する場合，大量のサムネイルが表示された画面をスクロールしながら目的の写6.2 デバイスタグビュー

真を見落とさないように探すことになる．本システムを利デバイスタグビューは，選択したタグを基に，デバイス

用した探索では，抽出された各デバイスタグや関連写真をタグの共通する関連写真を閲覧できるビューである．デバ

閲覧してゆくため，スクロールしすぎるといった操作ミス

イス名，MAC アドレス，デバイスタグの属性，関連写真や見落とししていないかの不安によるストレスが少なく，をマッピングした地図を上部に表示し，下に関連写真のサ

快適に利用できた．ある人物と近接関係にあったと記憶しムネイル群が続く．写真ビューと同様にマウスオーバーでている写真を探す際は，本システムの Nomadic タグを利写真の地図上の位置が分かる．

用することで想起した人物の顔が含まれていなくとも写真にたどり着くことができ，有用性が確認できた．

6.3 ストリーミングビュー

5.2 節で述べた複数の距離を加味したソートを利用したユーザの現在の周辺環境に基づく写真を受動的に閲覧す

探索は，意外な関連性を持つ写真の発見には役立つが，多るためストリーミングビューを作成した．このビューは，数の写真が関連付いている場合を除き目的の写真を探索す

定期的に周囲の BT と WiFi 基地局を検出し，関連する写る場合にはあまり有効に感じられなかった．関連写真が 30

真群を表示する．検出されたデバイス集合に変化があると，枚未満程度の場合，サムネイル表示で一覧可能なため，ソービューの内容を更新する．ユーザはサブディスプレイ等にト機能を利用する必要を感じられない．100 枚程度の関連

ストリーミングビューを表示しておき，定期的に更新され

写真においても，時間距離または空間距離でソートし昇順

る周辺環境に関連する写真群を受動的に閲覧する．ユーザ

降順を切り替えることで十分に発見できた．複数の距離ではこれらの各ビューから，関連写真やデバイスタグのリンソートを行った際，結果の意外な順序に驚くことがあった．

ク構造を辿ってゆくことで目的の写真や，意外な関連性を複数の距離を加味することによって写真間の距離が予測し持つ写真を探索できる．

にくくなるため，ユーザが推測しながら関連写真を選択す

7. 考察
7.1 関連写真の探索

る本システムとの相性が悪くなったと考えられる．また筆者の場合，周辺の人物や場所に紐づくデバイスの存在の有無はある程度記憶や推測ができるが，周辺状況全体で捉え筆者が利用したことのある写真管理アプリケーションでているわけではない．注目しているデバイス以外のデバイある iPhoto，Aperture，Picasa は，どれも撮影時刻を用スが撮影時の周辺環境中に多数存在すれば，デバイスタグ

いた写真のソート，ジオタグを利用した地図上への写真の距離は小さくなってしまう．そのため，デバイスタグ距離

プロット，顔認識を用いた人物での写真のグループ化をサによって探索しやすくなるようには感じられなかった．

ポートしている．これらを一般的な写真管理アプリケー

一般的な写真管理アプリケーションのインタフェースは，

ションとみなし，本システムと写真の閲覧体験を比較する．

目的の写真の時刻や位置に近づくよう前向きに探索する機

具体的な撮影時刻から写真を探索する場合，筆者の作成

能だけでユーザの記憶や推測を利用する余地が少ない．本した写真ブラウザより一般的な写真管理アプリケーションシステムでは，目的の写真が関連していると推測できるデの方がインタフェースのデザインが良く応答性も良いためバイスタグや写真を選択することで，ある種の後ろ向き探目的の写真を探索しやすかった．具体的な位置から写真を索を交えながら目的の写真に近づいてゆくことができる．

探索する場合，写真があまり撮られていない旅行先などのユーザの記憶と推測を写真の探索に利用することで効果的

情報処理学会研究報告
IPSJ SIG Technical Reportに写真の探索が行えるが，ユーザの推測が誤っている場合，学会等のイベントを横断する写真群

またはユーザの推測や記憶自体が誤っていなくても推測が学会や技術カンファレンスで何度か会合していると推外れる場合がある．Nomadic タグの元となるデバイスを所測される人物のデバイスや，同行した教員，友人等の有している人物がたまたまデバイスを携帯していない場合

デバイスで，イベント中に撮影した写真がデバイスタ

や，ユーザがロガーを携帯し忘れたり電池切れに気づかなグによって横断してグループ化されている事例が発見

いと，データに誤りが含まれたり検出履歴と写真を関連付された．

けることができず，推測が外れる原因を作ってしまう．

長距離移動中の写真群
新幹線や夜行バスでの移動中に車内やサービスエリ

7.2 特徴的なデバイスタグ集合の利用

アで撮影した写真を抽出するデバイスタグが検出さ5.4 節で有用なデバイスタグとして抽出した “何日にもれた．筆者はデータ収集期間中に就職活動や技術カン渡って写真が関連付いているデバイスタグ” と “撮影位置

ファレンスへの出席で関西と関東を何度か移動するこが分散しているデバイスタグ” を基点に，能動的に写真をとがあり，その際の車内で撮影した写真が，車内の誰閲覧した．それぞれで閲覧した際に印象に残ったデバイス

かが携帯するデバイスや備え付けのアクセスポイントや得られた写真群を挙げ，得られる写真集合の特性を説明

でグループ化されていた．

する．
自宅・研究室近隣の属地デバイス

ポータブル WiFi
筆者が携帯するポータブル WiFi デバイスがこの集合

何日にも渡って関連写真があるデバイスタグの代表的に含まれていた．筆者はポータブル WiFi をバッテリなものが，自宅と研究室付近に設置されている WiFi

節約のため USB 接続で利用することが多く，ポータ

アクセスポイントである．大学の建物内である研究室

ブル WiFi を無線モードで利用するのはカフェや居酒で撮られた写真や，近くの高台に高速道路が通ってい屋に同行している友人にアクセスポイントを融通する

る筆者自宅では，ジオタグに誤差が含まれやすい．こ

状況が多い．このデバイスによって友人との食事中ののデバイスタグで写真を抽出することでジオタグの誤差に影響されない近傍探索ができた．
ファストフード店の WiFi 基地局

写真が予期しない形でグループ化されていた．

WiFi アクセスポイント付き SD カード
筆者は主に写真を撮影するスマートフォンの他に，デ

通学途中に位置し筆者が何度か訪れているファスト

ジタルカメラを所有しており，WiFi アクセスポイント

フード店の WiFi 基地局がこのデバイスタグ集合に現機能付き SD カードを挿入している．外出先で PC へれた．定期的に期間限定の新しいハンバーガーが販売接続することなくスマートフォンからデジタルカメラ

され，筆者がそれを食べた際に撮った写真がこのタグで撮影した写真にアクセスし Web 上にアップロードに集まった．位置情報を基に探索を行った場合はこのしたり他人へ送信する目的で利用される機能である．

店以外の写真が多く含まれてしまうが，このデバイス

この SD カードが由来のデバイスタグには旅行先や動タグを利用すると店周辺の写真に限定し探索できた．

物園等で撮影した写真がグループ化されており，筆者

研究室メンバーのロガーが撮影してすぐに Web で公開したい，友人に送信し筆者の所属する研究室メンバーの多くはロガーを携たいと思った写真が含まれていて楽しい記憶が思い出帯している．それらロガーがこのタグ集合に複数現れされた．

た．研究室やゼミ室での写真だけでなく，飲み会や大謎のデバイス

学の外で昼食をとる機会があるため，大学周辺のレス

筆者の心当たりの無い何度も近接をしているデバイス

トランで撮られた写真が多く含まれていた．

を発見することができた．このデバイスには，2010 年

長期インターン先のデバイスの 12 月から 2012 年の 12 月の長期間に渡って，兵庫筆者が参加したインターン先の社内に設置されている県の神戸，京都の天橋立と河原町，東京の上野と水道デバイス由来のタグが多くこの集合に含まれた．無線

橋の広い範囲で計 12 枚の写真が 6 日間に渡って関連機器が多く設置されている社内で撮影した写真にはづいている．筆者の体感から，長期間で広範囲に及ぶ

多数のデバイスタグが付与されており，期間中に多く理解できない関連性を提示されるとユーザは困惑や恐の写真を撮影したため，ほぼ同じ写真集合に対する複怖を感じると考えられる．

数のデバイスタグが有用なタグとして提示されてしまった．

これらのデバイスタグ集合を基点に関連写真を閲覧することで，思い出を振り返ることができ，意外な写真同士の次に，撮影位置が分散しているデバイスタグを基点に写関連性が発見できた．しかし，“何日にも渡って写真が関真を閲覧した．前述の研究室メンバーのロガーはこちらの連づいているデバイスタグ” は，単純に日数で順位付けしデバイスタグ集合にも含まれていた．

て抽出してしまったため，ほぼ同じ関連写真集合を持つタ

情報処理学会研究報告
IPSJ SIG Technical Report

グがいくつも提示されてしまった．このデバイスタグ集合

たデバイスタグによる関連写真の抽出を行い，多人数で利を抽出するためには，多様な写真を含まれるようなアルゴ

用できるアルバム作成アプリケーション等の写真の共有やリズムを用いたり，写真集合が共通しているタグを間引く推薦に応用したい．

などの処理を行う必要がある．

7.3 ストリーミングビュー

8. おわりに本研究では，Bluetooth および WiFi デバイスの検出履歴

本システムをラップトップ上で動作させながらストリーを写真と対応付けることで，撮影時の周辺状況を加味した

ミングビューを表示し，ブラウジングや本稿の執筆等の作関連写真抽出を可能にした．対応付けられたデバイスを元業を行いながら日常的な環境で受動的閲覧を行った．PCに関連する写真を抽出することで，人物や場所に関連するで作業を行う状況は馴染みのある生活環境である場合が多写真を抽出できた．ユーザの推測や記憶が探索に利用でき

く，周辺環境が大きく変化しない．そのため筆者の利用環

る写真ブラウザを作成し，その利便性を確認した．デバイ

境では，ストリーミングビューに期待していた周辺環境のスと写真のリンク関係だけでなく時間・空間的な距離を加変化と共に関連写真が次々と表示されるような面白さは体味することで，意外な関連性を持つ写真を発見することが験できなかった．表示される周辺のデバイスタグも既知のできた．また，写真の受動的閲覧に本研究を利用することものが多く出現するため，いつも同じ写真が含まれていた．

で，ユーザの周辺状況に応じた写真を提示することができ電車で移動中にストリーミングビューを閲覧したが，ライ

エンタテインメント性のある写真提示の可能性を示した．

ブラリ内から関連する写真が見つからない場合がほとんどであったり，筆者自身が携帯するポータブル WiFi に関連

参考文献

付いた写真が表示される結果となった．しかし，どちらの[1]

状況においても，由来となるデバイスが推測できないデバ
イスタグが検出されると，どんな写真が紐付いているのか
知りたい欲求が湧き，タグを選択し能動的な閲覧へ移行す[2]

ることがあった．筆者自宅最寄り駅と大学間のような郊外ではなく，都市部であれば駅のアクセスポイント等から関[3]連する写真が抽出できる可能性がある．ロガーを携帯する研究室メンバーが近隣にいると，過去のゼミや飲み会等の写真が表示され，思い出を振り返ることができた．日常的[4]

な生活空間で利用する場合は，属人デバイスのみを対象に関連写真を閲覧する方が面白く感じた．継続的に周辺のデバイスを監視し長時間検出されているデバイスの重みを低[5]下させたり，新しく検出されたデバイスとの関連写真を強調表示するなど，現在の周辺環境と近い写真を提示するのではなく，周辺状況の変化に対し写真を提示することでエ[6]ンタテインメント性が高まると考えられる．
[7]

7.4 今後の課題・展望
本手法は，人物とデバイスの対応付けはユーザの記憶のみを頼りに行なっており，普段利用しているデバイスや特[8]

徴的なデバイス名以外のデバイスタグが何のデバイス由来
か認識しづらい問題がある．撮影時刻周辺の検出履歴だけ[9]でなく，継続的な検出履歴を利用することで由来と成るデバイスが認識しづらい問題の解決や，ユーザの周辺状況の[10]

変化等を利用した抽出等を図りたい．また本章で述べた，
有用なタグの抽出アルゴリズムとストリーミングビューの改善案を実装し，よりエンタテインメント性の高い楽しめ
る写真ブラウザを作成したい．
現在のところ個人のユーザが自分の写真ライブラリを閲覧することを想定しているが，複数のユーザ間での共通し[11]

Yushi Jing, Shumeet Baluja: PageRank for Product Image Search, WWW ’08 Proceedings of the 17th international conference on World Wide Web pp. 307 - 316.
(2008)
五味 愛, 伊藤 貴之: 代表色領域の位置関係に着目した大容量画像からの類似部分画像の高速抽出, 芸術科学会論文
誌. Vol. 6 No. 3 pp. 117 - 125. (2007)
五味 愛, 伊藤 貴之: 「何時, 何処で, 誰と」3 つのメタ情報を用いた大量個人画像の一覧可視化手法, 情報処理学会研究報告. グラフィクスと CAD 研究会報告 138, 1,
2010-02-11.
捧隆二, 中村聡史, 田中克己: 写真画像からの人間関係抽
出とコミュニティに基づく写真検索, 情報処理学会研究報
告. データベース・システム研究会報告 2012-DBS-156(9),1-7, 2012-12-05.
Ben Shneiderman, Benjamin B. Bederson and Steven M.
Drucker: Find that photo!: interface strategies to annotate, browse, and share, Communications of the ACM,
Vol. 49, Issue 4, p.69-71. April 2006.
B. B. Bederson: PhotoMesa: A Zoomable Image
Browser Using Quantum Treemaps and Bubblemaps,
User Interface Software and Technology, pp. 71-80. 2001.
D. F. Huynh, S. M. Drucker, P. Baudisch, C. Wong:
Time Quit: Scaling Up Zoomable Photo Browsers forLarge, Unstructured Photo Collections, ACM SIGCHI
Late braking results: short papers, pp. 1937-1940. 2005.
中村 聡史: 主観写真ライフログ探索のための時空人間の活用, Web インテリジェンスとインタラクション研究会(ARG WI2). 2012
増井俊之: 近傍関係を活用した情報検索, 情報処理学会研究報告, Vol. 2003-HI-104, pp. 53-58. 2003.
P. Hui, J. Crowcroft: Human mobility models and opportunistic communications system design. Philosophical Transactions of the Royal Society A: Mathematical,
Physical and Engineering Sciences, Vol. 366, No. 1872.
pp. 2005-2016. 2008.
SUGIMOTO Tomohiko: ヒュベニの距離計算式, 入手先⟨http://www.kashmir3d.com/kash/manual/std siki.htm⟩(accessed 2013.02.05).