DEIM Forum 2014 A4-1

Win-Win ランキングによる記録を介した対面コミュニケーション支援
武田

十季†

牛尼

剛聡††

† 九州大学大学院芸術工学府†† 九州大学大学院芸術工学研究院
E-mail: †tokitokibu@gmail.com, ††ushiama@design.kyushu-u.ac.jp
あらまし我々は，2 者間の対面コミュニケーションにおいて，両者が保有する写真等の記録の中から，コミュニケー

ションの観点から高い満足度を得られる記録を探り出してランキングするシステム Auto SAGURU を開発中である．
ここで記録とは，SNS 上への投稿情報や Web 上で閲覧した記事情報，また，本人が撮影した写真等を含む．本稿では，コミュニケーションの話題に応じた動的なランキングの実現に向けて，各記録をノードとし，記録のテキスト情報からノード間のエッジが張られるグラフを考え，Random Walk with Restart 法を応用した Win-Win ランキング手法を提案する．本手法を Auto SAGURU に導入することで，双方にとって満足な対話を実現する記録を高精度かつイ
ンタラクティブに提示することができる．さらに，同一ユーザ内の記録ノード遷移とユーザ間の記録ノード遷移の確率に対して重み付けを行うことで，お互いが相手の興味を優先した記録選択を行える提示方法の検討を行う．
キーワード

コミュニケーション，写真管理，ランキング，RWR，情報推薦

1. は じ め に行うことを目指している．各対話者が保有する記録には各自の興味が含まれていると考え，Auto SAGURU は相互の記録のデジタルカメラやスマートフォン等の記録デバイスの普及や，関連性に基づいて記録のランキング付けを行う．本稿では，対ソーシャルネットワークサービス (SNS) 等の体験の共有の場

話者双方に高い満足を与えられる記録のランキング手法として，の増加に伴い，私たちは様々な体験を写真として記録したり，

Win-Win ランキングを提案する．

テキストとして投稿することが容易になってきた．一般に，膨大に蓄積された写真やテキスト，つまり記録を利用する場合，

2. 関 連 研 究

手がかりとなる情報（キーワード，カテゴリ，日時，場所など）記録を用いた過去の振り返り支援に関する研究は現在盛ん

をクエリとして検索を行い，特定の記録にアクセスすることがに取り組まれている．Hangal ら [4] はメールの履歴から，文章多い．また，写真の管理においては，近年では，時間順や位置の要約や，感情語の可視化等によって，ユーザ自身の社会的コ情報に基づいた写真の整理や，顔認識技術による人ごとのカテ

ミュニケーションの振り返りを支援する手法を提供している．

ゴライズ化 [1] を行う等のサービスが登場している．

Viegas ら [5] もメール履歴から，出現頻度の高い単語の可視化

テキストや写真は過去の振り返りに有効なコンテンツであによって，長期間に渡ったメール上の人間関係の変化を振り返

り [2] [3]，日常生活において，しばしばこれらの記録を介してる手法を提案している．また，写真の管理に関しては，画像処

他人と過去の体験を共有する．例えば，久しぶりに出会った友理によってタグ情報を付与するアノテーション技術が提案され人と記録を用いて近状について伝え会い，会話が行われることており [6] [7] [8]，これらは，膨大な写真をキーワードによってがある．このような対面のコミュニケーションでは，私たちは検索可能としている．しかし，いずれの研究においても，ユー

相手に合わせて記録や話題を選ぶことが多い．しかし，相手のザが振り返りたい記録や話題を明確に決めていない場合は，検現在の興味が分からない場合や，伝えたい体験が明確でない場

索キーワードとしてタグ情報を活用することができず，さらに，合は，記録を検索するための手がかりとなる情報自体を得られ対話相手の興味を考慮した話題を選択することは困難である．

ないため，話題のきっかけとなる記録を見つけ出すまでには，

コミュニケーション時の記録の利用に関する研究も従来から多くの時間と労力を要する．

取り組まれている．Vennelakanti [9] らは，写真を介したコミュ

我々は，スマートフォンやタブレット型コンピュータなどをニケーション時の映像や音声などを用いて，対話時の様子をメ利用して，記録を介した対面コミュニケーションにおいて，伝タデータとして写真に付与し，新たな写真の活用方法を提案しえる記録内容が明確に決定していない状況でも，対話者双方がている．例えば，ある写真に対して，誰がどれくらい閲覧した

コミュニケーションの観点で高い満足度を得られる記録を推薦

か，どの部分を指しながらどのようなキーワードを発したかする Auto SAGURU を提案している [14]．Auto SAGURU でなどのデータを付与している．しかしこの研究では，コミュニは，日常のコミュニケーションにおいて人が互いの興味を探り

ケーション時の状況を取得することを目的としており，コミュ

合いながら話題のきっかけとなる記録を選択していることに着ニケーションに適した写真を提示することには取り組んでいな

目して，ユーザの携帯端末を利用し，この探り合いを自動的に

い．Hilliges ら [10] は，テーブルトップのディスプレイを用いた写真の共有時に，対話の進行に合わせて写真を探し出すインされる「受け手」の役割に分かれ，途中で役割を交代させた．

タフェース設計を行っている．このインタフェースでは，物理「提供者」と「受け手」の間の満足度の不一致の理由として，提的なつまみコントローラを用いて直感的に写真を選び出すこと

供者は自分が楽しかった体験を伝えられて満足したが，受け手を可能としているが，この研究では，提供者の操作性に主眼をは興味がなかったため満足を得られなかったこと，そして，受置いており，受け手側の満足については考慮していない．写真

け手は興味があり満足していたにも関わらず，提供者は受け手を閲覧する場面を対象として，文脈に基づいた次の写真を推薦

が興味を持ったか判断できなかったため満足しなかったことがする研究がある [11]．これは写真の画像情報を用いて，現在閲あげられた．さらに，ある写真を対象とした対話中においては，

覧している写真と類似した写真を推薦するものである．しかし対話内容に関連する写真を探し出す行為も見受けられた．

コミュニケーションにおいては，必ずしも次に提示する写真として，画像の特徴が類似したものが良いとは限らない．
対話に合わせたリアルタイムな情報提示によるコミュニケー
ション支援の研究も数多く存在する．Sommerer ら [12] の研究
では，対話者の発話内容から音声処理技術によって単語を抽出し，その単語をクエリとしてインターネット上からアイコン画

以上の実験から，システムに対する要件を以下のとおりとした．
要件 I 対話前に，提供者は，写真に対する受け手の興味があらかじめ分かり，受け手の興味に基づいた写真を提示できること
要件 II 対話開始後，提供者に選択された写真と関連する写真を両者が提示できること

像を取得し，リアルタイムに画面上にアイコン画像を提示してコミュニケーションの支援を行っている．MeetBall [13] は，話要件 I の実現は，受け手の満足度向上のみでなく，提供者にとっ題にしている対象の映像をテーブルトップへ提示することで発て， 受け手の興味が分かることは，互いに話が盛り上がると確話を活性化させるコミュニケーション支援システムである．こ信を持って写真を選ぶことを可能とすることから，提供者の満のシステムは情報処理用のコンピュータや映像提示用のプロ

足度向上にも繋がると考えられる．要件 II の実現は，相互の共ジェクタを内包した球状のデバイスであり，コミュニケーション

通点の気づきを素早く与えると共に，対話の文脈に基づいた話が行われるテーブルの上方から吊り下げる形態で利用する．コ

題提供を可能とする．

ミュニケーション参加者の発話内容から単語を抽出し，その単受け手が提供者の写真に興味を持つ理由として「自分と関連語に適合する画像をテーブルトップに映写して発話内容を視覚

性・共通点があり興味がある」ことと「自分と関連性はないが化することで会話の活性化を実現している．例えば，一部の参興味がある」という 2 点が考えられる．前者の場合は，同じ場

加者しか知らない事物が言及された場合でも，それが MeetBall

所を訪問したこと，同じジャンルの食べ物を食べたこと，共通によって映像化されることで全員が視認する事ができ，会話がの趣味，等があげられる．後者の場合は，訪問したことはない

中座してしまったり一部の参加者だけで会話が盛り上がったりが自分も訪問してみたいと思うこと，初めて見る食べ物だが食してしまうことを防いでいる．しかし，これらの研究では，対べてみたいと思うこと，等があげられる．本研究では，前者の話前の対話者双方が互いの興味を探り合うときの支援を行うこ

関連性・共通点があって興味を持つことに焦点を当てる．

とはできない．また，二人以上が保有する写真集合，つまり，

要件 I，II を満たすためのシステムの概要を説明する．対話

複数のデータ集合間の関係性を考慮した動的な情報提示方法に者は，各自の端末内に自身の記録を保有しており，写真においついて取り組まれていない．本研究では，複数人コミュニケーては，各写真にあらかじめ撮影場所の位置・時刻情報や写真をションにおいて，各自が保有する写真の情報を元に，相互に満表すキーワード等のタグが付与されていることを前提とする．

足度の高いコミュニケーションを行える写真を提示することを

いま，図 1 のように，二人のユーザが各自の端末 A，B 内の記目的とする．

録を用いて対話を開始しようとしているとする．このとき，端末間で通信が開始され相互の端末 ID を認識し，各端末が保有

3. Auto SAGURUする記録の情報を同じサーバ上に送信して統合し，ランキング

本章では，まず，Auto SAGURU のシステム概要と被験者の計算を行う．要件 I を満たすために，Auto SAGURU は，相実験より導出したシステムの要件について説明する．そして，互の関係性が強い記録を上位に提示するようランキングし，ラシステム要件の実現に向けた Win-Win ランキング手法を提案

ンキング結果を各端末に送信して記録を並び替える．つまり，

し，記録集合のサンプルを用いた提案手法の実行結果について

端末 A，B の記録のテキスト情報やタグ情報に基づいて，各考察を行う．

端末内の記録をランキング付けする．ユーザは，ランキング付

3. 1 Auto SAGURU の概要

けされた記録をスライドしながら探すことができる．ユーザが我々は，[14] で，記録の 1 つである「写真」を対象として，写提供する記録を見つけたら，記録をクリックする等の選択行為

真を介した対面コミュニケーションに関する被験者実験を行い，によって対話開始と判定される．このとき Auto SAGURU は，

Auto SAGURU の要件をまとめ，システムの提案を行った．こ

要件 II を満たすために，選択された記録を元に，端末 A，B 内の実験では，各被験者が保有するスマートフォンに保存されたの記録を再ランキングする．

過去の写真を用いて，仲の良い相手と対話させ，対話後に各

4. Win-Win ランキング

写真に対する満足度の主観評価と，評価理由のインタビューを行った．このとき，写真を提示する「提供者」と，写真を提示

本研究では，2 者間のコミュニケーションにおいて，双方に高ॸय़५ॺੲਾ
 ઺൸
ഈଜ $ ৔

ここで，NGD(tk , tl ) は，tk と tl の Normalized google Dis-

ഈଜ $

‫؝‬
‫؝؝‬

ഈଜ %

‫؝‬
‫؝؝‬
ॸय़५ॺੲਾ ઺൸

グでなくても，意味的に強い関連を持つタグが付与された写真

ഈଜ % ৔

間にエッジを張ることができる．なお，θtag = 1 としたとき，

6HUYHU

‫؝‬
‫؝؝‬

૖੯⋛
ৌਵ৫઩৐

tance (NGD) [16] である． NGD を用いることで全く同じタ

同じタグが付与された写真間にのみエッジが張られる．

‫؝‬
‫؝؝‬

次に，キーワードタグによりエッジが張られなかった (ei,j = 0)ৼ൩भॸय़५ॺੲਾप੦तःथ
ৼ൩भ੶ஈ॑ছথय़থॢ

ノード間を対象として，撮影時刻タグ si ，sl の差と位置情報タ
グ gi ，gj の差を用いてエッジ ei,j を張る. いま，時刻情報の 2

6HUYHU૖੯⋜‫؝‬‫੶؝؝‬ஈ ;੶ஈ ; पणःथ
ৌਵ৫઩

点間の時間差を si,j ，位置情報の 2 点間の距離を gi,j としたと

‫؝‬
‫؝؝‬

ছথय़থॢ੥ટ॑
૚ഈଜ঱प઀ં

き，ei,j の値は式 (2) とする．


1ei,j =
0

੶ஈ ; भॸय़५ॺੲਾप੦तःथ
ৼ൩भ੶ஈ॑ছথय़থॢ

図 1 Auto SAGURU のシステム概要ঘ‫ش‬२ $ भ୼ઌঘ‫ش‬२ % भ୼ઌ
ઌ

Y

Y

Y

Y
Time

(2)

otherwise

このように，写真の撮影時刻や撮影の位置情報によっても，写真の関連性をモデリングすることができる．
図 2 に写真グラフ G = (V, E) の例を示す．写真 v1 ∼ v5 は
ユーザ A が保有する写真，写真 v6 ∼ v10 はユーザ B が保有すGeoる写真を表す．結ばれた線はエッジを表しており，赤が時刻情YY

if si,j < θtime or gi,j < θgeo

報に基づいて張られたエッジ，青が位置情報に基づいて張られKeywordY

たエッジ，黒がキーワードに基づいて張られたエッジである．

Y

例えば，写真 v3 と写真 v8 は，撮影時刻が近いタグと，同じ

図2

キーワードであるタグを持つ関係にある．

Y

Y

4. 2 Random Walk with Restart モデルの応用

記録 (写真) グラフ．

Random Walk with Restart（RWR）はグラフのノードの類似度を計算する手法である [15]．RWR では問い合わせノーい満足を与えられる Win-Win な記録提示，Win-Win ランキングを目指す．前節で述べた要件 I の対話開始前における相互の記録のランキングと，要件 II の対話中における，選択した記録を元にした相互の記録の再ランキングを実現するために，記録をノードとし，記録のテキスト情報やタグ情報からノード間にエッジが張られるグラフを考え，Random Walk with Restart（RWR）[15] を応用した Win-Win ランキング手法を提案する．
本章では，写真を対象として Win-Win ランキング手法についド vq を始点とするランダムウォークを行い，ノードに到達す
るたびに一定の確率 c で問い合わせノードに戻る．ここで，pを n × 1 行列とし，要素 pi をノード vi における存在確率とする．また，q を n × 1 行列とし，問い合わせノード vq に対応する要素 qq を 1，その他の要素を 0 とする．そして，A を列が正規化されたグラフの隣接行列とする．すなわち，要素 Ai,j
は式 (3) に示す様にノード vj からノード vi へランダムウォー
クする確率を表す．

て説明する．

(

4. 1 記録グラフの構成

Ai,j = ei,j /

本項では，ユーザ A，B が保有する写真から構成されるグラ
フ G = (V, E) について示す．まず，ノード集合 V については，
ユーザ A，B が保有する写真の集合をそれぞれ VA ，VB とし，

V = VA ∪ VB と定義する．次に，2 つの写真 vi ，vj の間のエッジについて，ei,j ∈ E = 1 のとき，写真 vi ，vj の間にエッジが張られていると定義する．
写真 vi ∈ V に付与された Ni 個のキーワードタグの集合を

Ti = {tk | k = 1, . . . , Ni } としたとき，ei,j の値は式 (6) と
する．

)
ek,j

(3)

k

このとき，定常状態における各ノードにおける存在確率 p は，
式 (4) を再起的に収束するまで繰り返すことで計算できる．

p = (1 − c) · Ap + c · q(4)Win-Win ランキングでは，要件 I の対話開始前 (写真選択無し) と，要件 II の 対話中 (写真選択あり) において，それぞれ最適化を行う必要がある．対話開始前は，問い合わせノードが存在しない状態であるため c = 0 としてノードの存在確率 p を





1
ei,j =

∑





0

計算する．そして，対話中は，問い合わせノード vq を現在提if exists (tk ∈ Ti , tl ∈ Tj )such that N GD(tk , tl ) >= θtagotherwise

示されている写真とし，写真提示の度にノードの存在確率 p を(1)再計算する．このノードの存在確率を，2 者の写真の集合 V の中から次に提示すべき写真のスコアと考え，推薦候補の写真のランキングに用いる．

ঘ‫ش‬२ $RG
IRঘ‫ش‬२ %
ோ૔ન૨

0.109

0.109

0.109

5\RNDQ

6HOHFW

0.108

ঘ‫ش‬२ %

0.303

0.185

0.185

0.016

0.082

0.082

0.082

0.056

0.016

0.056

0.016

0.056

0.029

0.014

0.011

0.029

0.003

0.011

0.003

0.082

3DVWD

ঘ‫ش‬२ $

ோ૔ન૨

5H5DQNLQJ

5DQNLQJ&DW

D6H૖੯⋜‫ؙ‬৭උखञ୼ઌपणःथभ
ৌਵ৫઩৏भગছথय़থॢ੥ટ

૖੯⋛‫ؙ‬ৌਵ৐भ୼ઌभছথय़থॢ੥ટ

5H5DQNLQJঘ‫ش‬२ %

5DQNLQJঘ‫ش‬२ $

0.185

0.016

0.014

0.014

+RNNDLGR

図 4

対話前と対話開始後における端末 A，B 内の写真ランキング
結果．

図 3 写真グラフのサンプル．

૖੯⋛‫ؙ‬ৌਵ৐भ୼ઌभছথय़থॢ੥ટ
ঘ‫ش‬२ $

Win-Win ランキングの検討を行うために，タグ情報に基づ
5DQNLQJ

いて写真間にエッジが張られていることを前提として，図 3 に示す写真グラフのサンプルを作成した．図 3 の左側はユーザ Aの端末が保有する写真集合を表し，右側はユーザ B の端末が5DQN8S

保有する写真集合を表している．各写真には，タグ情報としてঘ‫ش‬२ %

ோ૔ન૨

ோ૔ન૨

0.113

0.112

0.113

5DQNLQJ

4. 3 Win-Win ランキングの実行例

0.112

0.074

0.109

0.06

0.049

「猫」
「魚料理」
「パスタ」
「旅館」
「場所情報 (北海道)」「プラモ
デル」の中から少なくとも 1 つ以上が与えられているとして，共通のタグを持つ写真間にエッジを張った．

0.06

以上の写真グラフのサンプルを用いて，式 (4) によって各写真の存在確率を計算した．ここで，ϵi,j ∼ U (0, ϵmax ) とし，エッ

0.049

0.06

0.039

0.039

0.004

ジが張られていないノード間の遷移確率に対しても微小な値を与えることで，写真ネットワークのエッジが少ない場合でもWin-Win ランキングを安定して取得することができる．この
図5

とき式 (3) は以下の式 (5) のように表される．

ユーザ内遷移の重みを 0.3，ユーザ間遷移の重みを 0.7 としたと
きの，対話前の端末 A，B 内の写真ランキング結果．

(ei,j + ϵi,j ))Ai,j = (∑k ek,j + ϵi,j(5)
点ノードとしたランダムウォークによって計算した，各写真の以上の計算から，存在確率の高い順に写真を並び変えた結果

存在確率の結果であり，ユーザ A，B の写真の上位には「猫」

を図 4 に示す．図 4:左は，二人のユーザが対話を開始する前のタグが付与された写真が提示されている．このように，話題(要件 I) の，各端末の画面上で写真が提示される順番に上から対象の写真と関連性の高い写真が，相互の端末画面上の上位に並べたものである．図から分かるように，エッジが多く張られ提示されて要件 II を満たすことができ，効率的な話題の提供とた写真が上位にランク付けられている．ユーザ A の写真の上位

対話の促進が期待される．

には「北海道」での旅館の写真が提示されており，ユーザ B の写真の上位には「北海道」の鉄道の写真とスープカレーの写真が提示されている．これによって，ユーザのいずれかが上位の写真を元に相手に話題を提供すると，互いに北海道に訪れた経験があるという共通点を発見できる可能性がある．一方で「プラモデル」のようにユーザ A の全ての写真と関連のない写真
は，ユーザ B の写真の下位に提示され，話題として提供しないことを勧めている．図 4:右は，ユーザ A が「猫」の写真を選び
ユーザ B と対話を開始した場合 (要件 II) の，写真の再ランキ
ング結果を表している．つまり，選択された「猫」の写真を始

4. 4 受け手主体の Win-Win ランキング
図 4 で説明したランキング手法では，全てのノード間遷移の確率に対して同じ重みを与えていた．しかしこの処理では，
ユーザ A があるタグ情報を持つ写真をほどんど保有していない場合でも，ユーザ B がそのタグ情報を持つ写真を多数保有している場合，相互の端末上には，それらの写真が上位に提示される．このとき，ユーザ A にとっては，その写真を選択して話題を提供するかは任意であり，話題として選択した場合でも，ユーザ B はそれに関連する写真を多数保有しており興味を持つ可能性が高いため，問題は生じないと考えられる．しか$6HDIRRG ॑৭උखथৌਵ৫઩

‫ؙ‬ৌਵ৐भ୼ઌभছথय़থॢ੥ટ

し，ユーザ B にとっては，自身の興味のある写真を選んだとしঘ‫ش‬२ $

ঘ‫ش‬२ %

B1

A3: Seafood
A1: Ryokan, Hokkaido
A2: Ryokan, Hokkaido

B4: Seafood
B5: Seafood

A2

B2

A4: Cat
A5: Cat

B3: Cat
B1:Train, Hokkaido
B2:SoupCarry, Hokkaido

A6: Cat

B6: Pasta

A3

B3

A7: Pasta

B7: Plastic modelA4

B4ঘ‫ش‬२ $

ঘ‫ش‬२ %ても，ユーザ A にとって関連性の低い写真であるため，対話がA1

盛り上がらず，不満足に繋がる可能性がある．
そこで，式 (4) で説明した隣接行列の要素 A で定義される
ノード vj からノード vi に遷移する確率について，完全なラン
ダムウォークではなく，ユーザ内遷移とユーザ間遷移で重み αを付けることを考える．bi,j を，1 if [vi ∈ VA and vj ∈ VB ] or [vi ∈ VB and vj ∈ VA ]bi,j =
0 otherwise

A5

(6)

%&DW ॑৭උखथৌਵ৫઩

B5

A6

B6

A7

B7

として，vj から vi がユーザ間遷移のとき 1, ユーザ内遷移のとき 0 となる値と定義すると，隣接行列の要素は下記のように計

左：対話開始前のランキングঘ‫ش‬२ %

A4: Cat
A5: Cat
A6: Cat
A3: Seafood
A1: Ryokan, Hokkaido
A2: Ryokan, Hokkaido
A7: Pasta

B3: Cat
B1: Train, Hokkaido
B2: SoupCarry, Hokkaido
B4: Seafood
B5: Seafood
B6: Pasta
B7: Plastic model

右上：ユーザ A が写真 A3 を選択して対話開始したときのランキング

算できる．

(αbi,j + (1 − α)(1 − bi,j ))ei,j
Ai,j = ∑k (αbk,j + (1 − α)(1 − bk,j )ek,j

図6ঘ‫ش‬२ $

右下：ユーザ B が写真

B3 を選択して対話開始したときのランキング(7)

ここで，α (0 <=α<= 1) の値を大きくすると，ユーザ間遷移の重みが強くなり，対話相手とより関連の強い写真に関するスコ
アが高くなる．

4. 3 項で使用した写真集合のサンプルを用いて，α を 0.7 に設定して Win-Win ランキングを実行した結果を図 5 に示す．
図 4 と比較すると，ユーザ A のランキングにおいて，「魚料理」の写真の存在確率が高くなり上位にランク付けられ，一方で「猫」の写真の存在確率が低くなり順位が下がっている．重み付けを行う前では，ユーザ A が「猫」の写真を多く持っている
ため，ユーザ A の端末上では「猫」が上位にランキングされていたが，ユーザ B は「猫」の写真を 1 枚のみしか持っておらず，ユーザ A 自身の興味を優先したランキングになっていた．
しかし，ユーザ内遷移とユーザ間遷移に重み付けを行うことで，
ユーザ A のランキングでは，ユーザ B が「猫」の写真よりも「魚料理」の写真を多く持っていることを考慮したランキング
結果となった．このことから，Win-Win ランキング手法では，自身の興味よりも対話相手の興味を優先して相互を思いやった
ランキングに繋がると期待される．

4. 5 Auto SAGURU の利用シナリオ
以下に，コミュニケーション時に Auto SAGURU を用いる
ことで，どのような効果が得られるかを利用シナリオをもとに示す．
ユーザ A とユーザ B は互いの趣味や嗜好についてあまり知める．ユーザ A が自分の写真の上位に写真 A3 (タグ：魚料理) があることに気づき，ユーザ B に写真 A3 を見せた．すると二人の端末画面上の写真は，図 6 右上のように再ランキングされる．ユーザ B は再ランキング結果から，自分も過去に美味しい魚料理を食べたことを思い出し，そのお店についてユーザ

A に紹介することができる．再び初期画面に戻り，今度はユー
ザ B が自分の写真の上位に，写真 B3 (タグ：猫) が入っていることに気づく．ユーザ B は猫好きではないが興味はあるので，
ユーザ A に写真 B3 を見せてみた．このとき，相互の写真は図6 右下のように再ランキングされる．するとユーザ A は実は猫が大好きで，猫の話題になったことを喜び，写真 A4，A5，A6
を見せながら猫について語り始めた．ユーザ B も猫には興味があったので，楽しく話を聞くことができ満足できる．

5. 写真以外の記録への適用
本章では，Twitter を記録の対象として，写真以外の記録がWin-Win ランキングへ適用可能であることを示す．ユーザ A，
B が過去に Twitter へ投稿したツイートを保有していた場合，各ツイートをノードとしてグラフを構成できる．ユーザ A，Bが保有するツイートの集合をそれぞれ VA ，VB (V = VA ∪ VB )とする．ユーザ A，B の各ツイート vi ，vj に出現する単語を

tf-idf によって重み付けを行い，各ツイートをベクトル vi ，vjで表したとき，ツイート間で張られるエッジの値 ei,j はらない程度の仲とする．いま，二人は対面した状況で，それぞei,j =

れの端末内の写真から，話題とする写真を選ぼうとしている．

vi · vj∥vi ∥∥vj ∥(8)

このときの各端末画面上には，図 6 左のように Auto SAGURUと表される．ユーザ 2 名のツイート 300 件に対して上記式

によって相手が興味を持つであろう順番に写真が並べられてい(8) を用いてグラフを構成し，式 (4) によって各ツイートの存る．ユーザ A の写真は A1〜A7 で，ユーザ B の写真は B1〜

在確率を計算した．

B7 とする．ユーザ A が写真 A1 (タグ：旅館，北海道) を選ん

ユーザ A と B，ユーザ A と C で実行した結果を図 7 に示す．

でユーザ B に見せると，ユーザ B も写真 B1 (タグ：電車，北ユーザ A のランキング結果が，ユーザ B と C に対して異なる

海道)，写真 B2 (タグ：スープカレー，北海道) をユーザ A にように，対話相手に適したランキングが生成される．例えば，

見せながら，北海道に行った体験について話すことができる．

ユーザ A とユーザ B の間では「厚木」への訪問時のツイート

話題がつきた頃に，図 6 左の初期画面に戻り他の話題を探し始や「料理」に関するものが上位にランク付けられた．一方で，ঘ‫ش‬२ $ धঘ‫ش‬२ % भ :LQ:LQ ছথय़থॢ੥ટ
ঘ‫ش‬२ $

5DQN

 ःङोपचेउসऺखः ০঩मௐ਽द৮૛ ॹ‫ॱش‬धᰄा়ढथञैुअऒ॒ऩৎ৑‫؛‬ქधᰄा়ढथႩऔोञः ০঩ु࿭खठूअझ‫ع‬ ௯ऋੱ৉ेऎમ৶ु஖௡खः ୼ઌ 85/  ௐ਽ষऌभং५‫ؚ‬෡฽઄ഈऩः‫ ؛‬ৎ৑ऎैःऊऊॊभदम ু১૗इथाञ଺ୡ঻ৰୡऋअऽऎষऎਞऋखऩऎथੱु਼ੀुශऋढथਟञभद
ुअషॊढढढ
ঘ‫ش‬२ %

5DQN

 ਞपऩॊn৺  ரథ॑जौइॊঋঝॠ‫ش‬অ‫ش‬ঝ௧୅ঞ५ॺছথ‫ূؚ‬਎‫؞‬঩মଶप ड़‫ش‬উথমৃभ஫ଁમ৶ु
-DPLURTXDL૴खऩऋैঋ‫ش‬५ഩःथॊधअऽऎऩढञਞऋघॊ
ଋढञ৙ཅु࿭पোोेअ‫آ‬এॺইमൔभ஥ःੵ୏મ৶टढञ अउउउउउ  ৴೬टऋ৥঩भධाভਰਗ੒৒૮ः‫آآآآ‬ௐ਽ଐः૬ਞटढञऩ
৥঩मௐ਽ट ॥ঐၟ઺ქपँॉऋठऩऒध  ქधථैखथॊधವ໼॑बॊटऐभ੿঵घै
‫ؙ‬൑୔॑ாीॊ

ঘ‫ش‬२ $ धঘ‫ش‬२ & भ :LQ:LQ ছথय़থॢ੥ટ
ঘ‫ش‬२ $

5DQN

ऩ॒धऊ০঩রप૛ધછऌ঱ऑथ৥঩मฉलञः ੔྇पਬ৷घॊसऌ૛ધधखथ  ফभ૛ધ॑໗ीैोथਞऋ೫ऎऩढञ
૯ଘपషॊ૆૟ऽट୦ुखथऩः
૛ધपᄗ॑੢ीॊ੿঵
৊ৎपਕযभ੔྇ऊै૛ધ॑๣చखथຘःथःञैशऍू‫ع‬ढथऩढथऌञ
6 RT @***: やばいこの研究者やばい http://t.co/X3****඗ऋ೴गॉ઩ीथॊ‫ؼ‬ ૛ધपൗचॊ௕॑੿ॊञीपྰभ৐दःौ॒ऩএ‫ش‬६धढथঽী๡ॉखथॊऐन‫ؚ‬ऒोटऐৄैोञै௵୸॑ଷअਞऋघॊ
ঘ‫ش‬२ &

5DQN

 ेख‫ؚ‬૛ધછऐञ‫؛‬ठॆढध๻े ૖੯હभ૛ધ਺ံ৑प়ढञ‫؛ش‬অ‫ش‬ঝउःखः ૎୳जभ $FFHSW औोॊ૛ધभછऌ্ଢ଼஢ভ॑खथाेअऊऩ‫ؚ‬धઓढञ‫؛‬৔ઍਖॎङ‫ؚ‬ওॱ৓प‫؛‬૛ધभછऌ্॑ମपणऐॊध‫ؚ‬ଢ଼஢৔ઍुଐऎऩॊ॒दमऩऊौअऊ ঩রའढथਈીਉံ౥ਛ‫ؚ‬೑ऩऋैᄗभোढञଐः૛ધ‫آ‬ ૛ધ਺ံ GRQH
૎୳जभ ভৃद৅਀औोञଁੑपेॊध‫ؚ‬૞ਸ঻भ઄ਯमরবযद‫ؚ‬঩ম রব ‫؛‬৅਀ुরবभ্टैऐद‫ؚ‬଄ःযुञऎऔ॒ VLJLU ০঩१‫ش‬অ५ॖথधम৸ऎੴैऩऊढञऐन‫ृؚ‬ढरૹ৷दঽীभலহऋ৿ःथॊ
भमಞઉपᇃखः‫؛‬

図 7 ユーザ A とユーザ B，ユーザ A とユーザ C をペアにした

Win-Win ランキング結果の上位ツイートঘ‫ش‬२ $

5DQN

 ০঩मௐ਽द৮૛ ௐ਽ষऌभং५‫ؚ‬෡฽઄ഈऩः‫ ؛‬ৎ৑ऎैःऊऊॊभदम
FV ॣথभ্ध৮૛खथञै౦॒ऩଳਡऊैभॹ‫ॱش‬भ௬੼্১ऋઃ‫ر‬धলथਟथ‫ؚ‬એஜः
5XE\ ऊै਺ံॸ५ॺ
ঘ‫ش‬२ %

5DQN

 ৥঩मௐ਽ट ௐ਽ଐः૬ਞटढञऩ
ॸ५ॺฌ৿஑৫৅पणःथभ৮૛ড२ঀংe ऩ॒झn෡฽ৎ‫ؚ‬ৈசમসৈऎবઐ੄‫ ؚ‬ফ২पुસਬଡ଼଍षා଑‫؟‬঩ম৽ੋৗୂ

図8

ユーザ A が「今日は厚木で議論」のツイートを選択し，対話を開始した際のユーザ A とユーザ B の再ランキング結果の上位ツ
イートのランキング方法について検討を行った．提案する Win-Win
ランキングでは，記録をノードとし記録のテキスト情報からノード間にエッジが張られるグラフを考え，RWR を応用する
ことで，対話開始前には対話者相互の記録情報の関連性に基づいてランキングし，記録が選択されて対話が開始すると，その記録との関連性に基づいて記録を再ランキングする．また，同一ユーザ内の記録ノード遷移とユーザ間の記録ノード遷移の確率に対して重み付けを行うことで，相手の興味を優先したランキング結果が得られることを確認した．
今後の課題として，記録の時間情報を考慮した記録ノード間のエッジ作成方法と，Auto SAGURU の評価実験を行うことがあげられる．時間情報を考慮する理由として，対話する両者が同じ時間帯に投稿，撮影した記録だからこそ，二人にとって価値を持つ場合があるからである．例えば，対話者の相互が同じ場所に訪問したときの写真よりも，同じ場所に近い時期や同ユーザ A とユーザ C の場合は，「論文」に関するツイートが上じ時間帯に訪問していたときの写真を提示した方が，より相互位にランク付けられた．以上のランキングを用いると，二人のの共通性や偶然性が高く共感を促すことが期待される．

久しぶりの再開時や初対面の際に，相互に興味を持つ話題を提Auto SAGURU を用いた評価実験では，記録を介したコミュ

供できることが期待される．さらに，ユーザ A の上位 20∼30

ニケーションの問題の一つであった，相手の興味が分からないには「ベルギービール」や「ドラム」を含んだツイートが入っことによる，相互の満足の不一致が改善されたかを評価する必ている．これらのツイートは，ユーザ A から見ると，ユーザ B

要がある．特に，相手の興味を優先した相手思いのランキング

にとってユーザ A ほど重要でないためランクが低くなっているによって，提供者が自身を持って記録を提示して話すことがでが，ユーザ B から見るとユーザ A にとって重要なツイートな

きたか，また，それを受ける側も満足な対話を行えたか，といため，ユーザ B のランキング上では上位に入っている (図 7：

う観点で評価を行わなければならない．

ユーザ B の 1 位，2 位)．ランキング結果から話題として提供するかの判断は各ユーザに委ねられる．図 8 はユーザ A が自身のランキング結果の中から「今日は厚木で議論」のツイートを選択し対話を開始した際のユーザ A とユーザ B の再ランキン
グ結果を示す．相互のランキングの上位には「厚木」「議論」を含むツイートが入っている．これによって，両者とも現在の対話中に関連する話題を，過去のツイートから見つけ出すことが可能となり，新たな対話のきっかけに繋がることが期待される．

6. まとめと今後の課題
本研究では，スマートフォン等に蓄積される記録を利用した
対面コミュニケーションにおいて，伝える話題が明確に決定していないときに，対話者双方がコミュニケーションの観点で高い満足度を得られる記録を推薦する Auto SAGURU システム

文献[1] http://picasa.google.com[2] Steve, H., Lyndsay, W., Emma, B., Shahram, I., James,
S., Alex, B., Gavin, S., Narinder, K., and Ken, W ”SenseCam: A Retrospective Memory Aid Ubicomp”, LNCS 4206,
p.177-193, 2006.
[3] Matthew L. L., and Anind K. D ”Lifelogging Memory Appliance for People with Episodic Memory Impairment”, UbiComp’08, p.21-24, 2008.
[4] Hangal, S., Lam, M. S., and Heer, J ”MUSE: Reviving
Memories Using Email Archives”, UIST’11 p. 75-84, 2011.
[5] Viegas, F. B., Golder, S., and Donath, J ”Visualizing EmailContent:Portraying Relationships from Conversational Histories”, CHI’06 p. 979-988, 2006.
[6] Lemstrom, K., Korte, J., Kuusi, P., Kyheroinen, and P.,
Paivakumpu ”PICSearch: A Platform for Image Contentbased Searching Algorithm”, In The Sixth Int. Conf. in

[7]

[8]

[9]

[10]

[11]

[12]
[13]

[14]

[15]
[16]

Central Europe on Computer Graphics and Visualization,
Plzen, 1998.
Lieberman, H., Rozenweig, E., and Singh, P ”Aria: An
Agent for Annotating and Retrieving Images”, IEEE Computer 34, 7 (July 2001), p.57-62.
Krizhevsky, A., Sutskever, I. and Hinton, G. E ”ImageNet
Classification with Deep Convolutional Neural Networks”,
NIPS 2012, p.1106-1114.
Ramadevi, V., Prasenjit, D., Ankit, S., and Phanindra P”The Picture Says It All! Multimodal Interactions and Interaction Metadata”, ICMI’11, p.14―18, 2011.
Otmar, H., David S. K ”Getting Sidetracked: Display Design and Occasioning Photo-Talk with the Photohelix”, CHI
2009, p.4―9, 2009.
D. Liu, S. Yan, and H. Zhang ”Next photo please: towards
visually consistent sequential photo browsing”, MM’11,
Proceedings of the 19th ACM international conference on
Multimedia, p.973-976 (2011).
Sommerer, C., Mignonneau, L., Lopez-Gulliver, R ”Riding
the net”, Siggraph 2001, p.133 (2001).
中茂睦裕, 中山彰, 小林稔 ”テーブルトップへの画像刺激による遠隔コミュニケーションの分析”, ヒューマンインタフェースシ
ンポジウム 2006 論文集 2, pp. 695―700, 2006.
武田 十季, 牛尼 剛聡 ”Auto SAGURU:写真を介したコミュニ
ケーションのための探り合い支援システムの提案”, インタラク
ション 2014.
H. Tong and C. Faloutsos. Center-piece subgraphs: problem
definition and fast solutions. In KDD, pages 404–413, 2006.
R. Cilibrasi and P. M. B. Vitanyi ”The google similarity distance”, IEEE Trans. Knowl. Data Eng., pp.370-383, 2007.