撮影状況に基づく写真へのソーシャルタギングシステム
北出卓矢†

丸谷宜史†

将司‡

梶田

間瀬健二†

写真に対しタグを付けて共有することで，他者と写真への意味付けを共有することができる．本
稿では，撮影時の端末のセンサデータ（緯度・経度・方位角・仰俯角）と，他者の付けたタグを利用することで，写真に付加するタグを推薦するシステムの提案を行う．更に，適切なタグを推薦するため，システムのタグの推薦精度の評価実験を行った．その結果，およそ 30 個のタグ付けが行われれば，約 90%の精度で正しいタグが推薦されることが分かった．本研究により，写真撮影時に適切なタグ推薦を行うことができるようになると考えられる．

Social Tagging System for Photographs
Based on Shooting Situations
TAKUYA KITADE†

TAKAFUMI MARUTANI†SHOJI KAJITA‡KENJI MASE†

We can share meanings of photographs by sharing tagged photographs. In this paper, we propose aphotograph tag recommendation system using sensors data (latitude, longitude, azimuth, andelevation/depression angle) and others' photograph tagging. Furthermore, we conducted an evaluation
experiment of the tag recommendation precision of the system. The result shows that the system canrecommend appropriate tags at a 90% accuracy when 30 or more photographs with correct tags are provided.

なっている．そこで本稿では，撮影時に取得したセン

はじめに

1.

サデータを用いて他者の付けたタグを推薦し，共有す

デジタルカメラの普及によって，多くの人々が手軽に大量のデジタル写真を撮影できるようになった．
1)

2)

るという他者とのインタラクションを通して，写真へ付加するタグの推薦システムを提案する．

Flickr や Panoramio といった写真共有サイトでは，これまでにも写真のタグ推薦に関する研究として，写真に対してタグ付けすることで，撮影場所や撮影対写真共有サイト上にある写真に付加されたタグの共起象名などのタグを基に容易に目的の写真を検索するこ関係を利用するもの 3)や，撮影時のセンサデータを利とができる．しかし，写真に対しタグを付けることは用するもの等がある 4), 5)．しかし，これらの研究では手間を要し，大量の写真にタグ付けする際問題となる．

センサデータを用いた実際のシステムによるタグ推薦

また，写真は撮影者が何かを対象に撮影したもので精度の評価がなされていない．タグ推薦システムを実あるため，必ず対象が存在する．他者の付けたタグを現するためにはその推薦精度を測定し，評価する必要推薦することは，他者の注目した対象とその意味付けがある．

を提示することである．他者のタグをユーザに推薦しそこで，提案システムの実用化のために推薦手法のたり，ユーザが写真に付加したタグを他者へのタグ推評価実験の結果について報告し，その結果とタグ推薦薦に利用したりすることで，他者とお互いの視点を共精度の向上について考察する．

有することが期待できる．

2.

タグ推薦システムを搭載したスマートフォンを使うことで写真の撮影と2.1

概要

同時にユーザの状況を取得し，利用することが容易に

タグ推薦システムは，撮影時に取得したセンサデー

近年では，GPS や加速度センサ，地磁気センサ等

タ（緯度・経度・方位角・仰俯角）を基に，他者が付† 名古屋大学大学院情報科学研究科
Graduate School of Information Science, Nagoya University‡ 名古屋大学情報連携統括本部
Information and Communication Technology Services,Nagoya University

加した写真のタグを利用して，写真に付加するタグ（本研究では，写真に写っている対象物名をタグとして扱う．）をユーザへ推薦するシステムである．ユー
ザがカメラ及び各種センサを搭載した携帯情報通信端

情報処理学会 インタラクション 2011のセンサデータ間の分布を考慮した類似度計算をしなければならない．
更に，タグによる分布の違いも考慮すべきである．
例えば，建物を外から撮影する場合，一般的に建物の大きさによってセンサデータの緯度・経度の分布は変わるだろうし，正面から撮影されることが多い建物や，あらゆる方向から撮影されることが多い建物もある．
すなわち，タグによって分布の特徴は異なる．
以上の考察を踏まえ，以下の式(2)で表されるマハ
図1 タグ推薦システム流れ図

ラノビス距離 6)D をセンサデータ間の距離とする．

DC (x ) = (x − μ C ) Σ C

末を使って写真を撮影する際に，過去に撮影された写2

真に付加されたセンサデータとの類似度を計算し，類似度が高い順に他者が付加したタグを推薦する．

T−1(x − μ C )(2)

ただし，x : センサデータ列ベクトル，µC : タグ C

本提案システムの構成及びタグ推薦の流れを図 1に示す．実線で囲んだ部分はユーザ自身が手動で行い，に属するセンサデータ平均列ベクトル，ΣC : タグ Cに属するセンサデータ共分散行列である．

破線で囲んだ部分はシステムにより自動的に行われる．

マハラノビス距離は各要素を標準偏差で正規化したシステムがユーザへタグを推薦する流れは以下の通り

距離であるため，各センサデータ固有の分布の違いと，である．

タグによる分布の違いを考慮した距離である．この距

2.2

タグの推薦方法

離関数によって撮影時のセンサデータと各タグに属す

本提案システムでは，撮影時のセンサデータと，過去に取得した各タグに属するそれぞれのセンサデータるそれぞれのセンサデータ集合との距離を求め，距離が小さいほど類似度が高いものとする．

集合（本稿では，タグ C が付加されたセンサデータ

2.2.3 センサデータ集合のクラスタリングの集合を，「タグ C に属するセンサデータ集合」と呼各タグに属するセンサデータ集合を更に分類するこぶ）との類似度の計算によってタグの推薦順位を求めとにより，センサデータ集合の局所的な特徴を加味しる．類似度は，撮影時のセンサデータと過去に取得した類似度計算が可能となる．よって，各タグに属するたタグごとのセンサデータ集合との距離を計算するこセンサデータ集合を Ward 法によりクラスタ分類する．とによって求める．以下では，センサデータの特徴と，センサデータの類似度計算方法について説明する．
2.2.1 センサデータの特徴

3.

タグの推薦精度評価実験

タグ推薦精度の評価をするため，ユーザ側システム

本提案システムにおいてタグ推薦に利用するセンサ
データ x は以下の構造を持つ．

を構築し，6 つの対象に対して写真撮影・タグ付け・センサデータ取得を行い，実験を行った．

x = (lat , lon, sin( azi ), cos(azi ), ang )

T

(1)

3.1

センサデータの取得実験に用いた携帯端末は Android OS 搭載の HTC 製

た だ し ， lat: 緯 度 (-90≤lat≤90), lon: 経 度 (-Nexus One である．Nexus One は，A-GPS・3 軸地磁180≤lon≤180), azi: 方 位 角 (0≤azi≤360), ang: 仰 俯 角 (-気センサ・3 軸加速度センサを搭載している．名古屋

180≤ang≤180)である．仰俯角は後述する類似度計算及大学内の建物（豊田講堂・中央図書館・工学部 2 号びクラスタリングを容易にするため正弦関数・余弦関館・IB 電子情報館）・モニュメント・木それぞれを数を適用した値とする．

様々な場所から撮影し，合計 546 個のセンサデータを2.2.2 センサデータの分布を考慮した類似度計算得た．それぞれ 129, 171, 49, 127, 27, 52 個のタグが得類似度を計算するにあたり，各センサデータ固有のられた．

分布の違いを考慮すべきである．一般に緯度・経度の得られたセンサデータの分布を図 2 に示す．凡例

分散は比較的小さく，方位角・仰俯角の分散は比較的

latitude・longitude・azimuth・angle はそれぞれ緯度・大きくなると考えられる．そのため，類似度計算にセ経度・方位角・仰俯角であり，それぞれの凡例が交差ンサデータの値をそのまま用いると，センサデータ間する桝目に，対応する凡例の分布が示されている．プで重みが大きく異なったものとなる．従って，これら

ロット記号はそれぞれ豊田講堂（×）・中央図書館

撮影状況に基づく写真へのソーシャルタギングシステム
表1 タグ推薦結果（各行が正しいタグを示す）豊中

工I

中央図書館

151314

工学部 2 号館

1394

IB 電子情報館

32113

モニュメント21461豊田講堂

木1202モ木

920241

表2 複数のタグが付加された写真のタグ推薦結果
中・I
中央図書館・IB 電子情報館
工学部 2 号館・IB 電子情報館

中・工

工・I

233

図2 センサデータの分布

・工学部 2 号館（□）
・IB 電子情報館（○）
・モ（＋）

いてクラスタ分類し，それぞれのクラスタに属するセニュメント（△）・木（◇）である．全て単位は度のンサデータ集合とのマハラノビス距離が小さい順（類まま表示してある．

似度が高い順）にタグを推薦した．全 546 個のセンサ

3.2

実験結果

データに対し Leave-one-out 交差検定を行った結果を取得したセンサデータを用いて，Leave-one-out 交

図 4 に示す．ただし，クラスタ分類した結果，ある差検定によりタグの推薦精度を求めた．全 546 個のセクラスタに属するセンサデータが少ない場合，マハランサデータに対し，それぞれ 1 個のセンサデータを除ノビス距離を求める際に使用する共分散行列が正則でいて他のセンサデータを設定されたタグごとにクラスなくなり，逆行列が求められない．そのため，あるク分けし，それらのクラスと 1 個のセンサデータとの距ラスタに属するセンサデータが少なく，共分散行列の離が小さい順を推薦順とした．1 個のセンサデータに逆行列が求められない場合には，どのクラスタに属す予め付加されたタグと推薦順第 1 位が等しい場合を正るセンサデータの共分散行列も正則となるまで当該タしい推薦とした．ただし，撮影時に複数のタグが付加グのクラスタ数を 1 ずつ減らして再計算した．従って，されているものに対しては，それぞれのタグのクラス必ずしも全てのセンサデータが図 4 のクラスタ数のに属するものとして扱い，複数のタグが推薦順の上位指定値と同じ数にクラスタ分類されたわけではない．

を独占している場合を正しい推薦とした．
3.2.1 タグ推薦精度

3.3考察

推薦が 1 位のみの場合 89.7%，2 位まで含めると56 個のセンサデータに対し誤ったタグを推薦し，96.7%の推薦精度となり，良好な正解率であると思わ正解率 89.7%となった．各行のタグのセンサデータがれる．これは，方位角の値をベクトルとして扱ったこ

どのタグに推薦されたかを表 1 ・表 2 に示す．
（各列とと，タグの分布特徴を類似度計算に含めたことにあ名はタグの先頭文字で表す．
）また，推薦順第 2 位まると考えられる．

でに予め設定したタグが推薦されたものも正解とみなすと 18 個の誤りとなり，正解率 96.7%となった．

また，図 3 に示されているように，いずれのタグもセンサデータ数が 30 付近で推薦精度が安定してい3.2.2 センサデータ数によるタグ推薦精度の変化ることが分かる．従って，30 個のタグ・センサデー

更に，各タグに属するセンサデータ集合に対して，タを集めれば十分な推薦ができると予測できる．

使用するセンサデータ数を制限して変化させ，当該タグの推薦精度を求めた．結果を図 3 に示す．

更に，タグをクラスタに分類して類似度を計算した場合では（クラスタ数 1 がクラスタ分類しない場合に3.2.3 各タグに属するセンサデータ集合のクラス等しい），図 4 よりタグに属するセンサデータをクラ

タ分類数によるタグ推薦精度の変化

スタ分類した方が推薦精度がよいことが分かる．ただ次に，各タグに属するセンサデータを Ward 法を用し，分類数を増やすとわずかに推薦精度は低下してい情報処理学会 インタラクション 2011

推薦が 1 位のみの場合の正解率が前節の実験結果から下がった理由は，各タグ間の地理的な距離が近い対象が増えたこと，屋内から撮影したことにより GPSの位置精度が下がったことが考えられる．

5.

おわりに他者の付加したタグとセンサデータを基に撮影時のセンサデータとの類似度をマハラノビス距離を用いて計算し，適切なタグを推薦する手法を提案した．タグ
推薦精度評価実験・動物園実験の結果，推薦が 1 位のみの場合 80, 90%，2 位まで含めた場合 91, 97%の推薦
図3 センサデータ数によるタグの推薦精度変化

精度となり，提案手法の有効性が確かめられた．更に動物園実験の結果より，広範囲に多くのタグが付けられた場合でもある程度タグ推薦システムが適用可能であると思われる．
今後，高度や日時，画像情報等，様々なデータを使うことで更なる精度の向上が見込まれる．また，本提案システムは写真を送信することなくタグの推薦が行えるが，ユーザの緯度・経度を利用することを考えると，ユーザのプライバシー保護も考慮しなければならない 7)．
今後の課題としては，タグの分布を更に考慮することによる精度の向上と，システムの実用化を行いたい．

図4 クラスタ数による推薦精度変化

る．これはセンサデータ集合を細かく分類したために，各クラスタの特徴がきつく反映されたものとなり，細かく分類されていないクラスタの推薦順位が上がったためと考えられる．本来，センサデータの分布は対象によって異なるため，クラスタ分類数はタグごとに変化させるべきである．しかし，経験的にクラスタ分類数を決定してもある程度の精度の向上は認められると考えられる．

4.

適用可能性の確認実験

前節の実験結果の適用可能性を確認するため，名古屋市東山動植物園動物園本園エリアを対象に，7 人に同システムを用いて動物等にタグ付けを行ってもらった．実験には Nexus One・Android OS 搭載の Sony
Ericsson 製 Xperia を用いた．結果 45 種類のタグ・1823 個のセンサデータを得た．前節と同様の処理を行い，推薦が 1 位のみの場合 79.2%，2 位まで含めると 91.0%の推薦精度となった．いずれも前節の実験結果よりも低い精度となっているが，タグの種類の増加を考慮すると良好な結果であると考えられる．

謝辞

本研究の一部は，独立行政法人情報通信研究機構(NICT)の委託研究「三次元映像通信・放送のための中核的要素技術」による．

参考文

献1) Flickr, http://www.flickr.com/
2) Panoramio, http://www.panoramio.com/
3) Sigurbjörnsson, T. and van Zwol, R.: Flickr TagRecommendation based on Collective Knowledge,
WWW '08, Proceeding of the 17th international
conference on World Wide Web, pp. 327-336 (2008).
4) 藤田秀之，有川正俊: 空間関係に基づく写真と注釈のデータ相補発展，情報処理学会論文誌，Vol. 47，No. 1，pp. 63-76 (2006)．
5) 岩崎季世子，神原誠之，山澤一誠，横矢直和:
写真キャプショニングのための撮影位置・姿勢情報に基づく地理情報データベースの構築，
MIRU2007，pp. 1450-1455 (2007)．
6) Mahalanobis, P. C.: On the generalized distance instatistics, Proceedings of the National Institute of
Science of India, Vol. 2, No. 1, pp. 49-55 (1936).
7) Kitade, T., Hirano, Y., Kajita, S., Mase, K.:
Personalizing Public and Privacy-Free Sensing
Information with a Personal Digital Assistant, IPMU
2010, Proceedings of IPMU 2010, pp. 673-679(2010).