WISS2013

ライフログによる記憶拡張のための探索手法とその実践
中村 聡史∗
概要. 技術の進歩により，短期作業記憶に格納したものの忘却してしまうような情報もデジタルカメラなどを利用することによって一部記録できるようになってきた．また，記録を何度も閲覧することにより長期記憶化することも可能となっている．近い将来，見たこと，聞いたこと，体験したことをすべて記録できるようになると期待される．しかし，記憶を記録できるようになったとしても，記録を検索して記憶として引き出すことができないようでは折角の記録も役に立たない．本稿では，デジタルカメラを利用してユーザ自身のタイミングで記録をする一人称視点での主観写真ライフログに注目し，写真ベースの膨大なライフログを効果的に活用する探索手法を提案および実装する．また，10 年近いライフログの利活用から見えてきた利点や問題点などを整理する．

1

はじめに人間は記憶して，過去を振り返ることが可能な生き物である．
Atkinson ら [1] の二重貯蔵モデルによると，人間の記憶過程をまず入力刺激を瞬間的に記憶しすぐに忘れる感覚記憶，そして感覚記憶から選択的に入力され 20〜30 秒程度保持することが可能な短期作業記憶，短期作業記憶から処理を行った結果を格納する長期記憶とに分類される．
短期作業記憶は 20〜30 秒しか保持することができないため，多くの場合情報が忘却されていってしまい，思い出すことができなくなる．長期記憶化す
ることによって思い出すことが可能となるが，長期記憶化にはリハーサルを繰返すことや，深い意味的処理を施すなどすることが必要であり，長期記憶を行うことは容易ではない．
ここで，短期作業記憶を長期的に記憶（記録）する方法として，デジタルカメラなどの記録装置を使う方法が考えられる．デジタルカメラにより，旅行で見かけた素晴らしい風景や現地で出会った印象的な人々，道端で出会った印象的な看板や参考になる
講演スライド，配布資料に書き込んだメモや田舎のバス停の時刻表，日々食している料理からお店で食べた印象的な料理，友人と会うときに着ていた服や子どもの成長記録など，見て興味をもった様々なものを記録することが容易な時代になっている．つまり，すぐに揮発してしまうような短期作業記憶に記憶される情報をデバイス上に記録することによって，いつでも引き出すことが可能となる．
ここで，記憶を記録し，記録から記憶を呼び覚ますことを目的として個人の一人称視点および興味でデジタル写真を撮影することを，本稿では主観写真∗

Copyright is held by the author(s).
明治大学 総合数理学部

図 1. 探している写真はどこに？

ライフログ[2] と呼び，記憶されたデジタル写真をライフログ写真と呼ぶ．著者は 1998 年頃より 2005
年までは何らかのイベント時にデジタル写真を撮影し，2005 年 6 月 2 日から現在に至るまでは毎日ライフログ写真を撮影および記録しており，2013 年
7 月 24 日時点で合計 254,899 枚となっている（約349GB）．緯度経度が付与されたものが 193,545 枚，
Google Picasa によって顔認識されている人の数が1,398 人，顔の数が 71,054 個となっている．
デジタル写真は手軽に撮影することができるため主観写真ライフログが容易になっているにも関わらず，一般的になっていない．その一番の理由はそもそも記録や管理するのが面倒というものであるが，それ以外にも検索が難しいという問題がある．ライフログ写真には一般的にテキスト情報が付与されていないため，キーワード検索は困難である．また，ユーザは過去の事になればなるほど記憶が定かではなくなっており，目的とするライフログ写真の撮影場所や撮影時間，一緒にいた人の名前などを忘れているだけでなく，間違って記憶していることも多い（図 1）．さらに，検索条件を明確にすることが難しいという問題もある．
そこで我々は，検索の問題を解決するため，時空間と人間関係を利用し，絞り込み探索を行うことで，目標とするライフログ写真への到達を支援する探索

WISS 2013手法を実現する．また，ライフログ写真を長期記憶化するための受動的閲覧手法を実現する．さらに，長期的な利用からライフログ写真における人間関係がどの程度利用可能かといったことについて議論を行う．

2

写真ライフログ

ライフログにデジタル写真を使うメリットは，静止画であるため一覧化しやすく，現在発売されているデバイスを利用するだけで手軽にライフログを実践することが可能であることなどである．ここで，写真ベースのライフログは，主観的なライフログ（主観写真ライフログ）と客観的なライフログ（客観写真ライフログ）に大別される [2]．主観写真ライフ
ログとは，撮影時においてユーザの明確な意図があり，ユーザのタイミングと視点で空間を切りとるものである．
客観写真ライフログとは，システムにより自動記録されるものであり，SenseCam などウェアラブルカメラを利用した自動記録がそれに相当する．また，ユビキタスホームなどでのユーザの記録も客観的ライフログといえる．SenseCam は首から下げて利用する客観写真ライフログ用のカメラであり，1 分間に 2 回または，センサ（照度，地磁気，加速度センサなど）で取得した外界の状況に応じて自動撮影されるようになっている．客観写真ライフログは自動撮影されるため，自然に撮影できることや，何らかの作業中に撮影できることなどメリットがある．一方，撮影するだけではユーザの視点が抜け落ちるため，後に活用しようと思った際に何をキーとして探したらよいかわからないなどの問題がある．
主観写真ライフログと客観写真ライフログの特性の違いについて詳細に分析した研究は存在しないが，Gurrin らは SenseCam を用いた客観写真ライ
フログによる 1 年間の記録（100 万枚）から無作為に1000 枚を抽出および分析している [5]．その結果，客観写真ライフログには腕や手がよく写っており，仕事中（24.6 ％）や運転中（16.2 ％），会話中（13.3％）などの写真が多く，人を自然に記録できるとしている．また，インドアの写真が 73.4 ％と多く，風景写真は 1.1 ％とかなり少ないことを報告している．
さらに，29.9 ％の写真に人が写っていることを報告している．一方，著者の主観写真ライフログの中から 1000 枚を無作為に抽出して調査したところ，作業中の写真はほとんどないが，作業の後などに撮影したものや，他人が作業している様子や，他の人が会話している様子を撮影していたものが多かった．
また，65.6 ％がインドア，34.4 ％がアウトドアの写真であり 13.2 ％が風景写真であった．さらに，44.0％の写真に人が写っていた．単純な比較はできないが，主観，客観ともに人が写っている傾向が高いといえる．

図 2. ライフログ（外部記憶）により記憶拡張

図 3. ライフログによる記憶のモデル

ここで，基本的に人間は画像を膨大かつ長期的に記憶することが可能である [7] ものの，Isola らの写真の覚えやすさに関する研究 [6] によると，写真のタイプごとに記憶の容易性が異なり，人を含んだ写真を最も覚えやすく，次に人の大きさのオブジェクトが被写体となっている写真を覚えやすいのに対し，風景のような写真は綺麗であっても覚えにくい事がわかっている．つまり，写真ライフログでは，時空間をベースとしつつも，人間関係を効果的に利用した探索手法および，人を考慮した長期記憶化手法が有効になるのではと考えられる．
そこで，本稿ではこのような人間関係を中心としたライフログ探索を可能とする仕組みを実現する．
ここでは，ライフログ写真から人間関係を抽出および可視化し，対話的に探索可能とする．

3

ライフログの外部記憶化手法

先述の通り，短期作業記憶はすぐに失われてしまうものであり，長期記憶への定着も難しい．ここで，主観写真ライフログを記憶として使う（図 2）と，図3 のように消去しない限り短期作業記憶へ何度も呼び出すことが可能となる．そこで，本稿ではライフログを外部記憶として扱うために，短期作業記憶へと呼び出すための探索手法と，何度もユーザに提示し，リハーサルを行えるようにすることで長期記憶に定着させるための受動的閲覧手法を提案する．

ライフログによる記憶拡張のための探索手法とその実践

3.1

人間関係を利用した探索

デジタル写真を撮影すると，撮影日時やカメラの機種名，各種撮影情報などが EXIF 領域に自動記録される．また，最近では GPS 搭載のデジタルカメラも増えており．撮影場所情報も自動的に記録されるようになっている．さらに，Google Picasa やApple iPhoto などのように，写真ライブラリ内の写真に対する顔画像認識を行うソフトウェアも近年広がりを見せている．我々は，こうした撮影日時，撮影場所，被写体情報を写真とともに取り込み，データベースに格納し，時間，空間，人間での検索を可能とする．
しかし，人の記憶は曖昧であり，数ヶ月，数年前のこととなると，目標とするライフログ写真をいつ撮影したのか，どこで撮影したのか，誰と撮影したのかといった事も正確に覚えていない．つまり，目標とするライフログ写真への到達も一筋縄ではいかない．ライフログ写真の検索および探索においては，それを思い出すきっかけとなる柔軟な絞り込みと周辺情報提示が必要となる．
ここで，ライフログ写真として蓄積されているものは，ユーザ（撮影者）が見て切り取ったものであり，それぞれの写真に写っている人物を認識すると，ユーザからみた人物関係（主観的視点におけるソーシャルネットワーク）が見えてくる．つまり，人を 1つのノードとし，同一の写真に写っている人には関係があるとみなしてその人物間（ノード間）にエッジをはり，そのエッジがどのようにはられているかということを分析してクラスタリングを行うことで，コミュニティを検出することが可能となる．そこで，本稿ではある時空間での写真集合からすべての人間関係を抽出し，その人間関係を Newman 法 [3] によってハードクラスタリングした結果とともに提示することにより，人間関係を考慮した探索を可能とする．
なお，ハードクラスタリングした結果の人間関係をバネモデルを用いて提示し，提示されている人間関係をもとに検索する手法を実現する．ここでバネモデルにおけるノード間の引力はユーザ間の親密性の高さに基づき，強さを変更している．また，人と人との間の親密性については，「同じ写真に共起していること」「同じ時分に共起していること」「同じ時間に共起していること」「同じ日に共起していること」という 4 パターンを用意し，その共起頻度によって計算している．

3.2

受動的閲覧による長期記憶への格納

近年，横長の液晶ディスプレイが広く普及している．横長のディスプレイは，動画を視聴する場合や，ゲームをする場合などには効果的であるが，作業を行なっている場合には，2 つのウィンドウを表示するには少し狭すぎ，1 つのウィンドウを表示するには広すぎる．ここで，1 つのウィンドウのみを表示するのであれば，画面の両端に余裕がある．
受動的閲覧による，外部記憶からの長期記憶化では，こうした画面の両端のスペースを有効活用し，利用者とライフログ写真との遭遇を促進し，その事自体が短期記憶のリハーサルとして働くようにすることによって，長期記憶化を狙うものである．受動的閲覧において，システムは特に人間にフォーカスを当て，任意の人間を取り出し，その人間を中心とした写真（その人間と一緒に居た場所や，居た時間を利用）中心とした n 件のライフログ写真をデータベースから取り出し，1 枚ずつ写真を上から下にスクロールさせながらアニメーション提示するものである．

4実装

提案システムを Microsoft Visual C++を利用して，データベースに SQLite を利用して実装した．
また，サムネイル画像を必要に応じて自動生成することにより，20 万枚以上でも問題なく動作する仕組みを実現している．さらに，データベースやサムネイルはバックグラウンドで自動的に構築および生成されるため，初めて利用する際にも特に負荷なく利用可能である．システムは LifelogViewer という名前で Web 公開している1 ．
図 4 は，カレンダーインタフェース，地図インタフェース，人間関係ビューを利用して時間および空間を指定しながら目的とする食事のライフログ写真を探索している様子である．カレンダーインタフェー
スで表示月を変更している際に提示される人間関係ビューから，まずどの月かを限定し，次に地図イン
タフェースを用いてズームし表示領域を限定することで提示される人間関係のクラスタを限定している．
さらに，そこから目的とする人が含まれるクラスタを指定して検索し，最終的に目的の写真にたどり着くことができている．図 5 は，ライフログの受動的閲覧手法を利用して，作業中にライフログを提示している様子である．

5

考察

時間，空間，人間関係を考慮して 20 万枚の写真ライフログを扱える環境は限られている．Apple のiPhoto は 1 操作辺りに数十秒かかるため利用できず，Google の Picasa も頻繁に固まってしまうという問題が生じた．速度面は無視して，著者がこれまでに必要とした様々なライフログ探索について提案システムと Picasa の比較を行った．大きな違いは，
Picasa ではユーザは明確に場所や時間，被写体を選べる場合は効果的に目標とするライフログ写真を探しだすことができるものの，少しでも記憶が曖昧な
1

http://calendar2.org/

WISS 2013

図 4. 時空間と人間関係を利用した写真探索

図 6. 人間関係の変化

図 5. ライフログの受動的閲覧（画面右端）場合には探すことが困難であるという点である．一方，提案システムでは，ユーザの記憶が曖昧な場合であっても対象となる写真の発見が可能であり，検索達成率は高かった．
本手法によってある特定の月の人間関係がどうなるかを示したものが図 6 である．上段は，私が京都大学から明治大学へと転職前（2013/02）と，転職後（2013/04）で大きな違いが現れており，2013/04 では転職先の大学での学生が登場し密なネットワークを作っている事がわかる．また，2013/03 では，転職元や転職先の方々，京都の友人の方々などとの交流があったため，様々な広がりのあるコミュニティができている．下段は，WISS が開催される 12 月について，2010，2011，2012 年を比較したものである．2010 は右上に，2011 は左下に，2012 は下にそれぞれ WISS のコミュニティが形作られている．また，2010 年は WISS のコミュニティは独立しているが，2011，2012 年については他のコミュニティとの関係が深まっていることが分かる．これは，2011年，2012 年の 12 月にそれぞれ開かれたニコニコ学会に WISS 関係者が関与しているためである．
クラスタリングにおいて，知人と解釈する度合いを「同じ写真での共起」「同じ時分での共起」「同じ時間での共起」「同じ日での共起」と 4 つ用意し比較した．様々な時空間でのクラスタリング精度について実際に運用することで比較してみたところ，2005年までは「同じ日での共起」，2006 年〜2008 年については「同じ時間での共起」，2009 年以降については「同じ時分での共起」と「同じ写真での共起」が良い結果となっていた．これは，撮影頻度と，被写体として人間を選ぶ度合いとに深く依存しているのではないかと考えられる．実際，2005 年までは撮影頻度は高くなかったが，2006 年から 2008 年については撮影頻度があがり，2009 年以降も撮影頻度はこれまでと大きく変化していないものの，著者の撮影スタイルが変化していき人が被写体となっている量が増加したことも理由の 1 つとして考えられる．撮影頻度や撮影場所によってイベントを分離することが可能になれば，本問題は解決する可能性を秘めている．
受動的閲覧が作業の邪魔になるかどうかを調べるため，1 年以上の長期的な利用を実践した．その結果として，受動的閲覧の仕組みは，作業中はほとんど目に入らず，ふと気が緩んだ時に目に入る程度であり，著者自身は問題がなかった．むしろ，集中して作業をし，気を抜いた時に，知人の楽しげな写真や，娘や妻などの写真が目に入り，休憩時の癒やしとなっていた．また，受動的閲覧で提示される写真の中のグラフなどから着想を得て，講義資料に取り込んだこともあった．以上のことより，長期記憶に定着させるための方法として有効であったかは不明
であるが，少なくとも受動的閲覧は有効であった．
この 1 年間でライフログが役に立った事例は多数あるが，そこから選別したものは下記の通りである．

• 出産育児一時金請求書を記入する際に医療施設の名称＆住所が必要となった．妻と沖縄で一緒だった時に出生届を書いた事を思い出し，
地図 UI を開いて「沖縄」を指定．表示される人間関係 UI から妻の顔をダブルクリックし，カレンダー UI に提示された写真の中から妻がベッドに座っている写真を発見．そういえばこの時だったと，その日の写真を一覧化し出生届＆出生証明の写真とその情報を発見．

ライフログによる記憶拡張のための探索手法とその実践• 転居先の水道代自動引落しの手続き時に，銀行への届け出サインが必要に．銀行での契約時以降サインを使った覚えがないため日本語か英語か記憶が無い．写真の GPS 情報がずれているのか契約した場所で検索しても写真が見つからない．口座を使い始めたのは入籍時である事を思い出し，入籍日あたりを探索．
契約後に，妻と飲みに行ったお店の店長が人間関係ビューに提示され，ふとその事を思い出して周辺を探索．書類を発見し，日本語だったことを確認して記入．

• 耐震工事のためのオフィスの一時的な引っ越しをしていて，1 年後に戻ることになった時，「前のオフィスに時計ってありましたっけ？」「あったとしたらどんなのでしたっけ？」という話になり，数名の同僚と一緒に時計が写っている写真を受動的閲覧で過去に見かけたことを思い出し，場所を人間関係 UI を提示しながら過去に遡ることによって，木の枠のこんなダサい感じの時計であったことを発見．
他にも，契約解除時にすでに忘れてしまった IDを調べたり，田舎で運行本数が極端に少ないバス停でカメラに運行表を記録させ後で活用したり，著者の妻が著者の友人に会った時にどのような服を着ていたかを探したりなど，その活用方法は様々である．
こうした探索は，時空間や人間関係があったからこそ可能となっているものが多い．また，受動的閲
覧によって，何度も任意の人が被写体となっている写真と，その人の周辺の写真（一緒に作業した記録や，一緒に摂った食事，その前後のスケジュールに関するものなど）が連続的に提示されているため，自然と長期記憶に定着し，その定着した「人」と「周辺の写真」から目的とする写真を探索可能となっているケースも多い．
一方，長期的な利用から得られた問題としては，まず忘れることができないという事が大きな理由としてあげられる．例えば，ある時まで恋愛関係にあった人との別れは，その別れの前までは幸せな記録として残していたのに，別れの後では辛いものとしてただ存在するだけである．ライフログ写真の受動的閲覧では，こういった辛い過去もどんどん提示されてしまう．こういった，忘れることができない何かをどうするかというのは，今後の大きな課題の 1 つである．
また，美術館内や映画館内など，撮影できない場所は多数ある．こういった状況において，本人としては記録した覚えがあるのだけれど，実際には撮影および記録しておらず，探索しても見つからないということがある．そうした，存在しないライフログ（見つからない記録）をどう提示するかというのは課題の 1 つである．

ライフログを長く続けていくと，ライフログが無いと困るというライフログ依存症をといえるのではと思えることが多々ある．例えば，すぐにデジタルカメラにて記録することができるため，無理覚える必要がなく短期作業記憶が劣化しているように感じることや，受動的閲覧で何度でも見るため，ある出来事が遠い過去のはずなのについ最近であるかのように感じることなどである．こういった問題は，今後ライフログが世の中に広まると，社会問題となるのではと考えている．
先日，著者のパソコンの SSD が突如読み込めなくなってしまい，最後にバックアップを取った日から，20 日間分のライフログデータが失われてしまった．このようなデータの損失は，現代の記憶喪失といえるかもしれない．こういった戻せない記録をどう保管するか，また補完するかといったことも大きな課題となるのではないだろうか．

6

関連研究

SmartWrite/SmartCalendar[9] は，写真・メモベースのライフログであり，時空間をベースとした写真の探索を可能としているが人間関係は考慮されていない．我々の手法は時間のみならず，空間や人間関係を考慮した閲覧および検索を可能としており，対象の柔軟な探索が可能である．
五味らは，時間，空間，人間関係の 3 者を利用したライフログ写真の閲覧手法を提案している [10]．
しかし，五味らの手法では，あらかじめ時間ベースで全ての写真のクラスタリングを行なってイベントを抽出し，イベントにおける共起度をもとに人物のクラスタリングを行なっているため，任意の時間や場所を指定した動的なクラスタリングは行えない．
捧ら [8] も，時間，空間，人間関係を利用してライフログ写真を閲覧する手法を提案している．ここでは，写真における共起性とその前後の写真から，人物同士の親密度を計算し，クラスタリングを行うというものである．ただし任意の時空間を対象とはしていないうえ，計算コストが高く，リアルタイムの分析には不適である．
Facebook，mixi などの SNS の友人関係からソーシャルグラフを作る試みは多数研究されている [4]．
しかし，こうした研究では，グラフは明示的なリンク（フォロー，友達として登録など）を元にしている．一方，ライフログの中には明確な友人関係に関する情報は存在していない．また，こうした人間関係は日々変化するものであり，関係が強まったり（他機関の知人から同僚へ，赤の他人から人生の伴侶へなど），関係が弱まったり（交際相手からただの知人へ，クラスメートから他大学の友人へなど）する．
我々は，ライフログ写真の中から 2 者間の関係性の強さを計算し，人間関係の変化を考慮しつつ，探索を可能とする手法を実現するものである．

WISS 2013

7まとめ

本稿では，主観写真ライフログの能動的探索および受動的閲覧手法を提案および実装し，その有効性について検討を行った．主観的な評価にすぎないが，長期にわたって継続利用しており，今まで到達できなかった探索を可能となり，主観写真ライフログの記憶拡張としての可能性を明らかにした．
システムは Web 公開および雑誌などで紹介されており，多数のダウンロードがある．今後は，主観写真ライフログを長期にわたって継続しているユー
ザに依頼し，システムの継続的な評価を行う予定である．

謝辞
本研究は文部科学省科学研究費補助金若手研究（A）（研究代表者：中村聡史，#23680006）の助成を受けたものです．

参考文献[1] Atkinson, R.C., Shiﬀrin, R.M: Human memory:
A proposed system and its control processes, The
psychology of learning and motivation (Volume2), pp.89-195 (1968).
[2] 中村聡史: 身近になったライフログ 〜パソコンに眠る数万枚の写真をどう活用すればよいか〜, 情報処理 54(2), pp.142-149 (2013).

未来ビジョン
人の記憶は曖昧なものであり，過去に見聞きしたものを思い出せないことは多い．忘れることは必ずしも悪ではなく，痛ましい出来事や，友人知人との別れ，恐怖を覚えた出来事や，昔の彼女との辛い思い出など，思い出したくないことも多々あるであろう．しかし，思い出せないことによって失敗をしてしまうことも少なくない．
今後，技術の進歩により，ウェアラブルコンピューティングが今の携帯電話のように人々にとってありふれた普通のものとなり，また生活の中での視線検出技術の進歩や脳波測定技術の進歩などにより，主観的なライフログ写真の記録がより簡単になり，ライフログ写真のインデックスもより深いものになると期待される．
将来，見聞きしたものを全て外部記憶に記録[3] M.E.J. Newman：Fast algorithm for detecting
community structure in networks. In Physical Review. E 69 (2004).
[4] Ken Wakita, Toshiyuki Tsurumi: Finding community structure in megascale social networks,
Proceedings of the 16th international conferenceon World Wide Web, pp. 1275-1276 (2007).
[5] Cathal Gurrin, Alan F. Smeaton, Daragh Byrne,
Neil O’Hare, Gareth J. F. Jones, Noel O’Connor:
An examination of a large visual lifelog, Proc. ofAIRS’08, pp. 537-542 (2008).
[6] Isola, P., Xiao, J., Torralba, A., and Oliva, A:
What makes an image memorable? Proc. of the24rd IEEE Conference on Computer Vision andPattern Recognition, pp. 145-152 (2011).
[7] Lionel Standing: Learning 10,000 Pictures, Quarterly Journal of Experimental Psychology, vol.25,pp.207-222 (1973).
[8] 捧隆二, 佃洸摂, 中村聡史, 田中克己: 時間・空間・人
物情報に基づくインタラクションによるライフログ
画像の探索手法の提案, DEIM Forum 2012 D9-4.
[9] 美崎薫: SmartWrite/SmartCalendar 手軽に書けるメモとメモと写真を見続けるカレンダー環境の提案，情報処理学会ヒューマンインタフェース研究会報告 2005(71), 71-76 (2005).
[10] 五味愛, 伊藤貴之：「何時，何処で，誰と」3 つのメタ情報に基づく個人写真ブラウザ, 芸術科学会論文誌, Vol. 10, No. 1, pp. 36-47 (2011).

し，記録したものを検索などにより取り出すことも可能となるであろう．
つまり，忘れることができなくなる時代が到来することになる．もちろん，そうしたデバイスを使わないという選択しはありえるだろう．
しかし，記憶拡張された人と記憶力という面で圧倒的に差が広がってしまい，嫌々ながらもそうしたデバイスを使うユーザが増えるのではと考えられる．
本研究はこうした忘れることができなくなる
ことは，どういったメリットがあり，どういったデメリットがあるのかということを，実践的に取り組むものである．また，人の様々な記憶の仕組みとの関係を考えていくことにより，ライフログによる記憶拡張がどのように記憶を変えていくのか，社会を変革させていくのかについて考えるものである．