WISS2011

Contextual Photo Browser: 写真参与者と周辺状況に基づく写真ビューア
Contextual Photo Browser: Photo Viewer Based on Participants and Situations

徳網 亮輔

河野 恭之

中村 聡史∗

Summary. デジタルカメラの普及により我々は多くの写真を保有するようになった. 大量の写真を整理/閲覧するよく知られた方法として, ジオタグや顔認識が挙げられるが, 建物内での GPS 精度の問題や顔が映っていない写真には適用できない原理上の問題がある. 本研究では, それらを補う写真整理手法として写真参与者と周辺状況に基づく写真ビューア, Contextual Photo Browser を提案する. 写真撮影時の周辺環境中に存在した Bluetooth(BT) デバイス及び WiFi 基地局の機器固有 ID を記録し “デバイスタグ” として撮
影時刻をキーに写真に関連付ける. BT 機器の多くは人物に付随し, WiFi 基地局の多くは位置が固定されている. デバイスタグを基に写真グループ化することで, 写真中に顔が写らない人物や, 建物内外問わない位
置関係に基づいた写真の整理/閲覧を可能にする. Contextual Photo Browser はデバイス検出ビューと写真
タグビューの 2 つビューモードを持つ. ユーザはデバイス検出履歴から撮影時の周辺状況を確認しつつ写真を閲覧したり, デバイスタグによって関連付けられる写真と各写真に紐付くデバイスタグを次々選択し多くの写真をインタラクティブに閲覧することができる.

1

はじめに

本研究では, 撮影者の周囲に遍在する BT と WiFi
デバイスの検出履歴を参照することで, 撮影者と一緒に居た人物や周囲の環境 (Context) に基づく写真の分類を行う写真ビューアを作成する. デジタル
カメラやカメラ付き携帯電話の普及により, 私たちは低コストに多くの写真を撮影し保管できるようになったが, 大量の写真を整理/閲覧する方法はまだ十分に整備されていない. iPhoto や Picasa などの写
真管理ソフトウェアは, ジオタグや顔認識による写
真ライブラリの整理をサポートしている. ジオタグ
は, GPS を用い写真撮影時の位置情報をメタデータ
として画像に埋め込む手法であり, ライブラリ内の写真を地図上にマッピングして閲覧することが可能になる. この手法は GPS の精度に依存しており, 建
物内での撮影の際無視できない誤差が発生し撮影者の認識と異なる位置情報が埋め込まれる問題がある.
顔認識は, 写っている人物の顔の特徴を基に人物ごとの写真の分類を可能にする手法であるが, そもそも顔が写っていない写真には適用できない. また顔認識の精度にも課題があり, 照明状態が悪い場所で撮影した写真や横顔の写真から人物を認識できない
場合がある. 五味らは, 撮影時刻, 位置情報, 顔認識の 3 つを組み合わせた可視化手法を提案している [1]が, 上記の問題は解決していない. Hui らは, ユーザの周囲の Bluetooth(以下 BT) と WiFi デバイスを継続的に検出することで人間関係のクラスタリング∗

Copyright is held by the author(s).
Ryosuke Tokuami and Yasuyuki Kono, 関西学院大学
院 理工学研究科 情報科学専攻, Satoshi Nakamura, 京都
大学大学院 情報学研究科 附属情報教育推進センターを行った [2] が, 具体的なアプリケーションの実装には至っていない. BT は携帯電話や PDA などに搭載され, 我々の環境に遍在している. BT は他の BT
機器からの Inquiry(問い合わせ) に応答する性質を持つので通信範囲内にある機器から検出が可能である. WiFi 基地局も同様の性質を持つ. この性質を利用し, 撮影者の持つ機器で周囲の BT 及び WiFi
デバイスを常に記録し, メタデータとして写真と関連付けることで, たとえ写真内に顔が写っていなくても一緒に居た人物で写真を分類したり, 室内において近くで撮影された写真同士をグループ化し分類することが可能になる.

2

Contextual Photo Browser

Contextual Photo Browser は, ユーザが必要に応じて, デバイス検出ビューと写真タグビューの 2
つの表示をインタラクティブに切り替えて写真を閲覧できる. 今回は著者の 2010 年 9 月から 2011 年 6月までのデータを取得し, 期間内に得られた 12,631
個の BT デバイス, 6,098 個の WiFi アクセスポイ
ント, 2,250 枚の写真を対象とした.

2.1

デバイス検出履歴からのタグ付け

ユーザは, 周囲の無線デバイスの検出時刻, 固有のデバイス ID(MAC アドレス), デバイス名を記録するための PDA をロガーとして携帯しながら写真を撮影する. 撮影時刻と検出時刻を基準に, 撮影時にユーザの周囲に存在したデバイス ID の集合を “
デバイスタグ” として写真と対応付ける. BT 機能付き携帯電話は所有者と共に移動するため, 人物で写真をグループ分けするために有用なデバイスタグ

WISS 2011となる. 一方, 多くの WiFi アクセスポイントは場所に固定されているため, 写真の撮影された位置関係を推測するために用いることができる.

2.2

デバイス検出ビュー

デバイス検出ビューは, 赤いカメラのアイコンで撮影時刻と期間内の写真の数を表現し, 背景の散布
図に無線デバイスの検出履歴を可視化したものである. 散布図の縦軸は検出された個々のデバイス ID
を, 横軸は時刻を示す. ロガーが同じデバイスを継続的に検出すると, そのデバイスは水平な線として散布図上に表れる. ユーザが人混みの中を通過するなどして新しいデバイスを多く検出すると, それら
は斜めの線としてプロットされる. 赤いカメラアイ
コンにマウスを乗せるとその時刻に撮影された写真のサムネイルが表示され, クリックすることで拡大された写真と関連付けられたデバイスタグを見ることができる. デバイスタグをクリックすると, そのタグに焦点を当てた写真タグビューに表示が切り替
わる. 図 1 は 2011 年 5 月 21 日に著者が大阪の市街を散策した際におけるデバイス検出ビューの表示例である. この日の 14 時から 23 時の間に, ユーザが32 枚の写真を撮影し, ロガーは 220 個の BT デバイ
スと 90 個の WiFi アクセスポイントを検出した. 周囲のデバイスの変化から, 著者が喫茶店で休憩していた時間帯や夕食をとっている時間帯, およびその間に撮影された写真を見て取ることができる.

るタグが一覧できる. 図 2 は写真タグビューの表示例である. 右側には, 現在選択されているデバイス
タグが関連付けられている写真のサムネイルが並んでいる. ユーザがサムネイルを選択すると, 写真が中央に拡大して表示され, 左側の領域にその写真の情報と関連付けられたタグが表示される. 青いラベ
ルは BT によるデバイスタグ, 緑のラベルは WiFi
によるデバイスタグを意味している. デバイスタグ
をクリックすると右側のサムネイルがそのタグに関連付けられた写真のものに更新される.

図 2. 写真タグビューの表示例

3

まとめと今後の課題

我々は, 環境中の無線デバイスをメタデータとして利用する写真管理手法を提案し, Contextual Phoro
Browser として実装した. この手法の問題点として,デバイスを携帯していない人物を識別することはできない点, 場所が固定的な BT デバイスや, 頻繁に移動する WiFi アクセスポイントも他のデバイスと同様に扱われてしまう点が挙げられる. 今後の展望として, 現在のところ 1 人のユーザにしか対応していないが, 複数のユーザ間での共通したデバイスタ
グに基づく写真の共有や推薦を行いたい. また, 単体のデバイスタグを選択する方法だけでなく, 複数のタグ同士の重複や共起を加味した包括的な写真間距離に基づいて写真をクラスタリングしたい.

参考文献
図 1. デバイス検出ビューの表示例

2.3

写真タグビュー

写真タグビューは, デバイス検出履歴から関連付けられたデバイスタグによって写真をグループ化し表示する. ユーザがデバイスタグを選択すると, そのタグによって関連付けられた写真を閲覧することができ, 写真を選択すると, その写真に関連付いてい[1] 五味 愛, 伊藤 貴之, 「何時, 何処で, 誰と」3 つのメタ情報を用いた大量個人画像の一覧可視化手法,
情報処理学会研究報告. グラフィクスと CAD 研究会報告 138, 1, 2010-02-11[2] P. Hui, J. Crowcroft, Human mobility models
and opportunistic communications system design. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering
Sciences, Vol. 366, No. 1872. pp. 2005-2016, 2008.