情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-506-27
2017/3/2

生活を「彩る」ライフログデバイスの提案
木村 繁基1,a)

沖 真帆1,b)

塚田 浩二1,c)

概要：近年，スマートフォンやウェアラブルデバイスの普及に伴い，ライフログの分野が活性化している．
しかし，カメラを用いた画像ベースのライフログは，膨大な量の写真を振り返ることが難しいことやプライバシーの問題から，本格的な普及には至っていない．そこで本研究では，こうした問題を解決するための一手法として，写真の色に着目し，色を記録するウェアラブルデバイスを提案する．

Color-based Lifelog System for Daily Environment
Kimura Shigeki1,a)Oki Maho1,b)

Tsukada Koji1,c)Abstract: Recently, as smartphones and wearable devices became popular, many lifelog projects have been
proposed. However, camera-based lifelog systems have not become mainstream because of the privacy issues and diﬃculty to browse massive numbers of pictures. To solve these problems, we focus on ”colors”
of pictures and propose a color-based lifelog system, which can extract characteristic colors from massivepictures.

1. はじめに
近年，センシング技術の向上と，スマートフォンやウェアラブルデバイスの普及に伴い，ユーザの日常での行動をりを行うことが難しいなど活用が困難であることや，プライバシーの観点から利用場面が限られること，データを慎重に扱わなければならない等の問題があることから，本格的な普及には至っていない．

常時センサで記録／活用するライフログの分野が活性化し本研究では，こうした問題を解消するための一手法としている．たとえば，fitbit alta[1] や vivosmart J HR+[2] のて，画像の「代表色」と「特徴色」を利用することに着目ような，加速度センサ／ジャイロセンサ等を中心とした活する．ここでの「代表色」とは，「画像において占める割合動量計は広く普及しており，運動量や睡眠時間の記録，管の多い色」のことを指し，「特徴色」とは「画像において明理等のヘルスケア分野で活用されている．

度と彩度が高い色」のことを指す．画像から敢えてこの 2

一方で，小松崎らによる 2 次元バーコードを付けた収色のみを抽出することで，プライバシーを保護しつつ，生納箱の出し入れをカメラで記録し，撮影した写真と箱の位活の様子を表す色を記録する．また，本研究では周辺環境置を関連付けることでユーザの物探しを支援する Draw-の色情報だけでなく，ユーザ自身の衣服等の色も同時に記

erFinder[3] や，渡邊らによるウェアラブルカメラを用いた録する．こうしたユーザ自身／周辺の色を同時に常時記録

手書きノートの電子化 [4] のような，カメラを用いた画像する独自のウェアラブルデバイスを作製し，生活パターンベースのライフログの研究も，センサよりも豊富な情報をの可視化／日用品デザインへの活用など多様な応用アプリ記録できることから長く取り組まれている．しかし，画像ケーションを提案する．

ベースのライフログは，撮りためた膨大な写真から振り返1a)b)c)

公立はこだて未来大学
Future Uniersity Hakodate, 2-116, Kamedanakano-cho,Hakodate, Hokkaido, Japan, 002-0803
b1013173@fun.ac.jp
okimaho@acm.org
tsuka@acm.org© 2017 Information Processing Society of Japan

2. 関連研究
本章では，「ウェアラブルカメラ」と「色を用いた振り返り」について，本研究に関連した研究事例やデバイスを紹介し，問題点や参考にできる点について述べる．

207

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-506-27
2017/3/2を活用しやすくなると考えた．(2) は，ユーザの衣服の色を同時に記録し，周辺環境の代表色／特徴色と併せて，振り返りや応用例に活用する．

3.2 システム構成
本システムは，ウェアラブルデバイス，スマートフォン，アプリケーションから構成される（図 2）．
色を取得するウェアラブルデバイスは，生活環境を記録するためのカメラと，ユーザ自身の色を記録するためのカ
図 1

本研究のコンセプト

Fig. 1 Concept of Our Reserch

ラーセンサを備える．ユーザは体の一部にデバイスを身に着けて生活し，一定時間ごとに生活環境の写真と自身の色情報を取得する．スマートフォンでは，撮影した写真から

2.1 ウェアラブルカメラ

代表色と特徴色を抽出し，ユーザ自身の色や時刻情報と併

ウェアラブルカメラの研究例として，SenseCam[5] やせてデータを蓄積する．アプリケーションでは，色を用いViconRevue[6] が挙げられる．SenseCam は，一定時間毎た生活の振り返りや，色を日用品デザインに反映させるこに写真を撮影するウェアラブルカメラである．ViconRevueとを考えている．まずは記録した色情報を閲覧する振り返

は温度センサや照度センサなど多様なセンサを内蔵しておりシステムをスマートフォンアプリで構築した後，日用品り，一定時間だけでなく身に着けたユーザの動きや環境の等での活用に発展させる．

変化によっても写真を撮影することができる．これらのデバイスで撮りためた画像をユーザが見ることで 1 日の振り返りを行うことは可能だが，写真の量が膨大であるため閲覧が負担になったり，他者の了承なしに撮影しているためプライバシー侵害の懸念がある．
本研究では，写真から抽出した色を用いることで，プライバシーの問題などを解消しつつ，ユーザに印象的な色をフィードバックする．これにより，1 日の出来事を想起させる機会を与えることを目的とする．

2.2 色を用いた振り返り
Color of Life[7] は，小型の市販ビデオカメラを装着して多数の写真を自動撮影し，実証実験の結果，視覚化された

図 2 システム構成図

生活空間の色は，被験者がその日の生活や行動を後から思Fig. 2 System Configuration

い出す手がかりになったことが述べられている．これにより，色が振り返りに有用であることが示唆されている．しかし，視覚的な表現を中心としたアート作品に近いものであり，デバイスの試作や色の活用については十分に検討されていない．本研究では，ユーザ自身の色と周辺環境の色

4. 実装
今回は，ウェアラブルデバイスと色の抽出に重点を置いてプロトタイプを実装した．

を同時に記録するウェアラブルデバイスを制作し，色を用いた振り返りだけでなく，生活の中で取得した色を活用させる応用例にも着手する．

3. 提案
3.1 コンセプト
本研究で提案するシステムのコンセプトを以下に示す．

(1) 代表色と特徴色を記録(2) ユーザ自身の色も記録

4.1 デバイスの実装
図 3 にプロトタイプのデバイス構成図を示す．生活環
境の写真は，スマートフォン（Android5.1，Covia FLEAZNEO）の内蔵カメラを用いて取得する．ユーザ自身の色情
報はカラーセンサ（TCS34725）で取得し，Bluetooth を搭載したマイコン（BlendMicro）で制御し，スマートフォンに送信する．
カメラの裏面にカラーセンサとマイコンを設置し，自作(1) は，画像から「代表色」と「特徴色」を抽出し利用すの筐体で一体化させた．デバイスにはネックストラップをることで，プライバシーを保護しつつ，ライフログデータ取り付け，首から下げて胸元付近に固定して使用する（図© 2017 Information Processing Society of Japan208

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-506-27
2017/3/24）．これにより，ユーザの前方向の写真と，ユーザの服の色を取得することができる．

図 5 代表色と特徴色の抽出例

Fig. 5 Example of Typical/Impressing Colors Extracted froma Picture

図 3 デバイスの構成図

Fig. 3 Device Configuration

図 6 色の情報の閲覧例

Fig. 6 Example of Color Visualization
図 4 プロトタイプの装着例取得をし，カラーセンサを用いてユーザ自身の色の取得をFig. 4 Example of Prototype Usage

している．今後は，色情報の閲覧機能を整えたあと，取得した色が生活の振り返りに有用かどうかを検証する実証実験を行い，デバイスの改良や色抽出手法の改善を行う．そ4.2 色の抽出と閲覧
写真から代表色／特徴色を抽出し，閲覧するスマートして，取得した色を日用品のデザインに反映させるようなアプリケーションを試作していきたい．

フォンアプリケーションを実装した．
まず，色の抽出手順について説明する．スマートフォンのカメラでは写真を一定時間ごと（例：30 秒）に撮影する．

参考文献
[1]

その際に，代表色と特徴色の抽出を行い，時刻と色情報をテキストファイルに書き込む．代表色は，写真の中で占め[2]る割合の多い色を 2 色を抽出する．この 2 色がほぼ同色になることを防ぐために，類似色同士を一定の閾値を設けて[3]まとめるように工夫した．特徴色は，彩度が高く明度が中程度の色と，彩度と明度が高い色の 2 色を取得する．図 5に，撮影した写真と抽出した色の例を示す．
次に，蓄積した色を閲覧するアプリケーションについて[4]

述べる．時刻と色情報を記録したテキストファイルを読み込み，各時間ごとに取得した色を表示する（図 6）
．現時点

[5]

では撮影間隔の 30 秒毎の色を表示させているが，時間間隔を変更して 30 分／ 1 時間／ 1 日単位の色情報を閲覧さ[6]せる機能を持たせる予定である．

5. まとめと今後の予定
本研究では，色情報に着目したライフログデバイスの提[7]fitbit：fitbit
alta(online)，
https://www.fitbit.com/jp/alta，(2016.11.01)．
GARMIN：vivosmart
JHR+(online)，
http://www.garmin.co.jp/products/intosports/vivosmartj-hr-plus-black/，(2016.11.01)．
Mizuho Komatsuzaki, Koji Tsukada, Itiro Siio.: DrawerFinder: finding items in storage boxes using picturesand visual markers, In Proceeding of the 16th international conference on Intelligent user interfaces, pp. 363366, 2011. ACM.
渡邊 栄治，尾関 孝史，小濱 剛：ウェアラブルカメラを用いた手書きノートの電子化，信学技報，vol．113，no．
212，EMM2013-56，pp．19-23，2013．
Stave Hodges, Emma Berry, Ken Wood.: SenseCam: A
wearable camera which stimulates and rehabilitates autobiographical memory, Memory 7(19), pp. 685696. 2011.
NEWATLAS.:
MicrosoftSenseCam
concept now available as Vicon Revue(online)，
http://newatlas.com/sensecam-being-manufacturedas-vicon-revue/17311/，(2016.11.09)．
内山 俊朗：生活空間の色を利用したライフログシステムの提案，TX テクノロジー・ショーケース in つくば，pp．
85，2012．

案・試作を行った．スマートフォンを用いて生活環境の色© 2017 Information Processing Society of Japan209