情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-83
2020/3/9

社会活動量と身体活動量の関係に着目した
ライフログの可視化
奥野 茜1,a)角 康之1,b)

概要：本研究では，社会的な活動量と身体的な活動量の関係に着目してライフログの可視化を行う．これまでに，長期的な一人称視点映像に写る対面者の顔の数を積算することで，人とどれくらい関わったかという社会的な活動量を記録する方法および顔数計を提案，評価してきた．ライフログから生活を見直し，満足度の向上や疲労度の軽減のような心身の健康につながる過ごし方，指標の発見を目指している．今回は，既存のリストバンド型デバイスから得られる身体的な活動量と，首元に装着する顔数計から得られる社会的な活動量の大小から，日常活動の分類を試みる．2 種類の活動量を組み合わせることで，会話，移動，オフィスワーク，スポーツなどの活動を特定し，質の評価ができるのではないかと考える．様々な日常活動の各 10 分間について身体活動量と社会活動量を二次元平面にプロットし，活動ごとの傾向を分析した．

1. はじめに
本稿では，社会的な活動量と身体的な活動量の関係に着目してライフログの可視化を行う．これまでに我々は，歩数計の発展を参考にして，対面する相手の顔の数を数えるだけの「顔数計」という単純な発想から，社会活動量を計測する検討をしてきた [1]．
ここで言う社会活動とは，実空間における対面状況において他者と何らかの関わり合いを持つ行為全般を指す．2
人から 10 人程度によって形成される立ち話，ミーティング，共同作業，共食などを想定している．計量対象者による社会的な場への関わりの度合い，つまり，発話したり積極的に共同作業に関与する度合いを，本研究では社会活動への参与度と表現する．顔数計は，人と単にすれ違っているのか，あるいは向き合って対話をしているのかといった社会活動を見分け，質を考慮して社会活動量を数値化する．
発話をすると相手の顔が向き続ける傾向があり，対面する相手との近接性と時間継続性を計算時に考慮することで，印象を再現できることがわかっている．
一方，1 日の満足度の向上や疲労度の軽減につながる指

図 1

社会活動量と身体活動量の関係と日常活動活動の分類を試みる．2 種類の活動量を組み合わせることで，会話，移動，オフィスワーク，スポーツなどの活動を特定し，質の評価ができるのではないかと考える．様々な日常活動の各 10 分間について身体活動量と社会活動量を二次元平面にプロットし（図 1 参照），活動ごとの傾向を分析した．

標を見出したいが，社会活動量だけでは日常活動の質の評価が難しいと考える．そこで，今回は，既存のリストバンド型デバイスから得られる身体的な活動量と，首元に装着する顔数計から得られる社会的な活動量の大小から，日常2. 関連研究
これまでにライフログから日常活動を分類する手法の研究は多くされている．加速度変化を手掛かりに日常活動を分類する手法では，歩いているのか，走っているのかなど

1a)b)

公立はこだて未来大学
a-okuno@sumilab.org
sumi@acm.org© 2020 Information Processing Society of Japanがわかる [2]．Suzuki らは，加速度変化のほかに心拍数の変動を考慮することで，睡眠の質を詳細に分析している [3]．

1087情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-83
2020/3/9

3.1 身体活動量
身体活動量は，運動時の心拍数から推定される消費カロリー量を用いて計測する（図 2 参照）．Fitbit Versa[10] を用いた．この消費カロリー量には，身長、体重、年齢、および性別の情報を使って計算される BMR（基礎代謝率）に応じて推定され，安静時に消費されるカロリーも含まれる．我々は，Fitbit のウェブページから 1 分毎の消費カロリー量をエクスポートすることで取得した．そして，消費図 2

ウェアラブルデバイスによる身体活動量と社会活動量の計測

カロリーの 10 分間の総量を計算し，身体活動量とした．

3.2 社会活動量
一方，Ortis らは，一人称視点映像に映り込む特徴を手

社会活動量は，ある時点で計量対象者に向けられる他者掛かりにして，自動的にテレビや台所，読書などの日常活の顔の数を数えることによって計測する [1]．図 2 のよう動をインデクスにしている [4]．Pal らは，環境カメラに映に，対面する相手の顔を検出して数え上げる．その際には，り込む人の動きを手掛かりにして，日常活動の忙しさの度対面する相手との近接性と時間継続性を計算時に考慮する合いを計測している [5]．

ことで質を評価している．

Hayakawa らは，赤外線センサで相手との近さを測り，具体的には，ある時刻 t の社会活動量 S は式 (1), (2) で加速度変化から身体動作の同期を測り，それらのデータを計算する．式 (2) の顔の大きさ Di は，撮影画面全体に占組み合わせることでグループ活動の種類と質の特定をしてめるその顔の面積の割合を表す．新しく検出された顔にはいる [6]．また，Olguin らは，加速度センサによる運動，ス新しい識別番号 i が割り当てられる．同一の識別番号に対ピーカによる音声，Bluetooth による他者との近接，赤外応する顔が連続で検出されると，その Ti をカウントアッ線センサによる対面者の認識 [7] といった複数のセンサ情プしていき，検出の継続時間とした．これらのことを，計報を統合することで社会的状況を計測している [8]．そし量対象となる時間（つまり，t : 1 ∼ m）について積算したて，双方の取り組みでは，組織の生産性や職務満足度の改ものを社会活動量 S とする．

善が試みられている．

また，真横を向く顔や後頭部は検出せずに，正面を向い

本稿では，2 つの身体装着型のデバイスから得られる身た顔のみを検出する．なぜなら，対面者がカメラ装着者の体活動量と社会活動量のライフログをもとに，日常活動の方に顔を向けているということが，カメラ装着者がその社分類を試みる．我々は，身体と社会の 2 つの活動量から食会的な場に一定の度合いで参与していることを表している

事，ミーティング，オフィスワーク，スポーツといった日常と考えるからである．逆に，真横を向く顔や後頭部でも認活動を分類する．日常活動の量と質を測ることによって，識してまう頑健性の高すぎる顔認識システムは，筆者らの1 日をどのように過ごし，どれくらいの密度であったかが考える参与度計算には相応しくないと考える．

わかるようになると考える．これには，満足度や疲労度に抽出した日常活動の一人称ライフログ映像を用いて，5着目し，身体だけでなく社会的な健康 [9] にもつながる過秒毎の社会活動への参与度を取得し，10 分間の総量を社会ごし方を目指す指標を見出したいという意図がある．

活動量として計算した．なお，斜めや隣り合わせの対話を

3. 身体活動量と社会活動量の計測
既存のリストバンド型デバイスから得られる身体的な活捉えるために，画角が 200 度のカメラを使用している．

S=m ∑n∑Ti (t) · Di (t)(1)

t=1 i=1



動量と，首元に装着する顔数計から得られる社会的な活動

量（図 2 参照）の大小から，日常活動の分類を試みる．一 Ti (t)：継続時間（同一顔の検出継続フレーム数）， 
 Di (t)：大きさ（画面に占める顔の面積の割合），  m：時刻 t までの経過時間（フレーム数），
n：時刻 t までの累計人数（顔の個数）

人称ライフログ映像から筆者自身の日常生活を振り返り，8 種類の日常活動（図 3 参照）の各 10 分間を抽出して，身体活動量と社会活動量を計測する．
活動の多様性を考慮して，3 つ以上の同じ種類の日常活動のデータを用意した．例えば，ミーティングには，グループミーティングでの発表だけでなく聴講での参加もある．ほかには，グループだけでなく一対一でのミーティングがある．さらには，立ち話に近い偶発的なミーティングもある．なお，計量対象者は大学生である．

© 2020 Information Processing Society of Japani：検出された顔の識別番号，

wi · hi
Di =· 100R
wi ：検出顔 i の幅, hi ：検出顔 i の高さ, 
R：画面サイズ(2)1088

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-83
2020/3/9

図 3 計測に使用した大学生の日常活動の種類

は，共食やグループミーティングをすると社会的な活動量を増やせることが分かる．また，散策やグループでスポーツをすると身体的な活動量を増やすことができる．両方の活動量を増やしたい場合には，複数人で作業すると良いことが分かる．
一方，食事やミーティングは活動の程度により属するグループが異なる．つまり積極的に人と関わることが少ない
食事，ミーティングでは，料理や作業時と似た活動量が得られることが分かる．我々は，身体活動量と社会活動量を組み合わせることで，日常活動をうまく分類することができていると考える．

5. 日常活動の遷移
図 4k-means 法により日常活動を 3 つのグループに分類した結果身体活動量と社会活動量の関係に着目して，大学生の日常活動の遷移を可視化した（図 5 参照）．今回は筆者自身

4. 日常活動の分類のデータではなく，同研究室に所属している学生に協力してもらいデータを取得した．午前 11 時，午後 12 時，13 時，日常活動を分類し，その活動の質を評価することがどれ

14 時，15 時，16 時，17 時時点の各 10 分間について身体くらい可能であるかを調べる．各種活動の各 10 分間につ活動量と社会活動量を二次元平面にプロットし，活動の傾いて身体活動量と社会活動量の組み合わせを二次元平面に向を調べた．

プロットし，活動ごとの傾向を分析した結果は図 1 である．

両方の活動量が多くなっている 16 時には，学生は複数

各活動のマーカーは，計測した日常活動の種類を示してい人との共同作業と，一人で移動することをしていた．常にる．横軸と縦軸は，各活動量の数値を 1〜10 の値に比率を同じ座標に留まらず，移り変わることが確認できた．我々保ったまま変換された値である．

は，当人の 1 日を過ごす中での移り変わりと現時点の状態

次に，得られた数値を k-means 法により 3 つのグループ

から，心身の健康に良いと考えられる次のアクティビティに分類した結果を図 4 に示す．身体活動量の比重が大きいを提案し，満足度や疲労度が改善される行動変容につなげ傾向がある日常活動，社会活動量の比重が大きい傾向があたいと考えている．

る日常活動，身体活動量と社会活動量の比重が同じくらいの日常活動の 3 つのグループに分類できた．
今回得られた結果は，筆者自身である 1 名の大学生から

6. おわりに
本稿では，身体活動量と社会活動量の組み合わせからラ得られたものである．その当人の日常活動の傾向として© 2020 Information Processing Society of Japan1089

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-83
2020/3/9

図 5

大学生の日常活動の遷移イフログの可視化をした．身体活動量と社会活動量を二次元平面にプロットし，活動ごとの傾向を分析した結果，身体活動量の比重が大きい傾向がある日常活動，社会活動量の比重が大きい傾向がある日常活動，身体活動量と社会活動量の比重が同じくらいの日常活動の大きく 3 つのグルー
プに分かれることがわかった．
今後は，日常活動の種類と量や質がどれくらい 1 日の満足度や疲労度に関係するのかを調べたいと考えている．1
日を過ごす中で，心身の健康に良いと考えられる次のアクティビティを提案し，満足度や疲労度が改善される行動変容につなげたい．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

Okuno, A. and Sumi, Y.: Social Activity Measurement by Counting Faces Captured in First-Person View
Lifelogging Video, Proceedings of the 10th Augmented
Human International Conference 2019, AH2019, New
York, NY, USA, ACM, pp. 19:1–19:9 (online), DOI:
10.1145/3311823.3311846 (2019).
Guo, F., Li, Y., Kankanhalli, M. S. and Brown, M. S.:
An Evaluation of Wearable Activity Monitoring Devices,Proceedings of the 1st ACM International Workshop on
Personal Data Meets Distributed Multimedia, PDM ’13,New York, NY, USA, ACM, pp. 31–34 (online), DOI:
10.1145/2509352.2512882 (2013).
Suzuki, T., Ouchi, K., Kameyama, K.-i. and Takahashi,
M.: Development of a Sleep Monitoring System with
Wearable Vital Sensor for Home Use., BIODEVICES,
Citeseer, pp. 326–331 (2009).
Ortis, A., Farinella, G. M., D’Amico, V., Addesso, L.,
Torrisi, G. and Battiato, S.: Organizing EgocentricVideos for Daily Living Monitoring, Proceedings of theFirst Workshop on Lifelogging Tools and Applications,
LTA ’16, New York, NY, USA, ACM, pp. 45–54 (online),
DOI: 10.1145/2983576.2983578 (2016).
Pal, S. and Abhayaratne, C.: Video-based Activity
Level Recognition for Assisted Living Using Motion
Features, Proceedings of the 9th International Conference on Distributed Smart Cameras, ICDSC ’15,
New York, NY, USA, ACM, pp. 62–67 (online), DOI:
10.1145/2789116.2789140 (2015).
早川 幹，大久保教夫，脇坂義博： ビジネス顕微鏡：実用© 2020 Information Processing Society of Japan

的人間行動計測システムの開発，電子情報通信学会論文
誌，Vol. J96-D, No. 10, pp. 2359–2370 (2013).
[7]
Choudhury, T. and Pentland, A.: Sensing and Modeling
Human Networks Using the Sociometer, Proceedings ofthe 7th IEEE International Symposium on Wearable
Computers, ISWC ’03, Washington, DC, USA, IEEE
Computer Society, pp. 216–222 (online), available from⟨http://dl.acm.org/citation.cfm?id=946249.946901⟩(2003).
[8]
Olguı́n, D., Waber, B. N., Kim, T., Mohan, A., Ara, K.
and Pentland, A.: Sensible organizations: Technologyand methodology for automatically measuring organizational behavior, IEEE Transactions on Systems, Man,and Cybernetics, Part B (Cybernetics), Vol. 39, No. 1,pp. 43–55 (2009).
[9]
House, J. S., Landis, K. R. and Umberson, D.: Social relationships and health, Science, Vol. 241, No. 4865, pp.
540–545 (1988).
[10] Fitbit: Fitbit Versa ｜スマートウォッチシリーズ，入手先〈https://www.ﬁtbit.com/jp/versa〉(参照 2019-05-15).

1090