情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1P01
2022/2/21

社会活動量と身体活動量の関係に着目した
ライフログの可視化
奥野 茜1,a)角 康之1,b)

概要：本研究では，社会的な活動量と身体的な活動量の関係に着目してライフログの可視化を行う．ライフログから生活を見直し，満足度の向上や疲労度の軽減のような心身の健康につながる過ごし方，指標の発見を目指している．今回は，既存のスマートウォッチ型デバイスから得られる身体活動量と，首元に装着する顔数計から得られる社会活動量の大小から日常活動の分類を行い，洞察を得る．まずは，1 名の日常活動（8 種類，37 シーン，各 10 分）について身体活動量と社会活動量の二次元平面にプロットし，活動ごとの傾向を分析した．当人にとって，身体活動量と社会活動量の両方を一度にバランスよく得られる活動，身体活動量が得られる活動，社会活動量が得られる活動の 3 グループに分類した．次に，3 名の同一空間上における活動について，二次元平面にプロットし，活動ごとの傾向を分析した．3 名の活動がマッピングされる位置は，個々人で値の大小の差異，つまり個性はあるものの，身体活動量と社会活動量の両方をバランスよく得られる活動，身体活動量が得られる活動，社会活動量が得られる活動といったグループに該当する傾向が見られた．次に，1 名の半日の身体活動量と社会活動量の遷移を可視化した．身体活動量と社会活動量の両方が移り変わる様子を可視化することで，当人の活動リズムやバランスが分かるのではないかと考える．

1. はじめにて社会活動量を数値化する．一方，身体活動量を計測する方法の研究および商品化は進んでおり，スマートウォッチ

本稿では，社会活動量と身体活動量の関係に着目してラなどに組み込まれて普及している．我々は既存のスマートイフログの可視化を行う．これまでに，身体活動はメンタウォッチ型デバイスである Fitbit Versa[6] を用いて，身体ルヘルスにポジティブな影響をもたらすことが研究されて活動量を計測することにした．

いる [1], [2]．一方，人との社会的関係の量と質は、精神的

我々のアイデアは，既存のスマートウォッチ型デバイス

な健康だけでなく，身体的な健康にも影響を与えると考えから得られる身体活動量と，首元に装着する顔数計から得られている [3]．また，人との社会的つながりは，心理的おられる社会活動量の大小から，日々の活動を二次元平面によび精神的なウェルビーイングの維持に関連していると考マッピングして可視化することである．体を動かす活動がえられている [4]．我々は，身体活動に加えて，メンタルヘ多い日，人と関わり合う活動が多い日，両方の活動が多い

ルスに影響を与える要因の一つとして，人と関わり合う社日，両方の活動が少ない日があるであろう．職種，性別，年会活動の量と質に焦点を当てたい．したがって，社会活動齢によって日々の過ごし方は異なり，個々人にとって適度量と身体活動量の両方を計測し，可視化することにした．

な活動量があるのではないかと考えている．そこで，我々これまでに我々は，歩数計の発展を参考にして，対面すはユーザが活動量を増やすという目標の他に，活動量を精る相手の顔の数を数えるだけの「顔数計」という単純な発神面と肉体面でバランス良く得ることを目標に行動できる想から，社会活動量を計測する検討をしてきた [5]．ここようにしたいと考える．

で言う社会活動とは，実空間における対面状況において他

本研究は，ユーザに可視化結果をフィードバックするシ者と何らかの関わり合いを持つ行為全般を指す．顔数計

ステムを実利用する前に，まずは日々の活動が身体活動量は，人と単にすれ違っているのか，あるいは向き合って対と社会活動量に基づいてどのように可視化され得るかを調話をしているのかといった社会活動を見分け，質を考慮しべた探索的研究である．人の精神面に関わる社会活動量と肉体面に関わる身体活動量の両方を計測し，様々な日常活

1a)b)

公立はこだて未来大学
a-okuno@sumilab.org
sumi@acm.org© 2022 Information Processing Society of Japan

動を可視化することで，1 日や 1 週間で両方の活動量をバランス良く得るための示唆が得られるのではないかと考213情報処理学会 インタラクション 2022IPSJ Interaction 2022

図 1

1P01
2022/2/21

社会活動量と身体活動量の関係に着目したライフログの可視化： 人の精神面に関わる社
会活動量と肉体面に関わる身体活動量の両方を計測し可視化することで，どのような活動をしたときに両方の活動量をバランス良く得られるのかについて明らかにする．

える．
本稿では，以下の 3 つの検討を行った．

動，スピーカによる音声，Bluetooth による他者との近接，赤外線センサによる対面者の認識 [13] といった複数のセン( 1 ) 参加者 1 名の日常活動（8 種類，37 シーン，各 10 分）

サ情報を統合することで社会的状況を計測している [14]．

について身体活動量と社会活動量の二次元平面にプ

そして，双方の取り組みでは，組織の生産性や職務満足度ロットし，活動ごとの傾向を分析した．当人にとって，の改善が試みられている．

身体活動量と社会活動量の両方を一度にバランスよく

本稿では，2 つの身体装着型のデバイスから得られる身得られる活動，身体活動量が得られる活動，社会活動体活動量と社会活動量のライフログをもとに，日常活動の量が得られる活動の 3 グループに分類した．

計測を行い，二次元平面にプロットし，活動ごとの傾向を( 2 ) 参加者 3 名の同一空間上における活動について分析し分析する．1 日をどのように過ごし，どれくらいの密度でた．3 名の活動がマッピングされる位置は，個々人であったかが分かるようになるのではないかと考える．ま

値の大小の差異，つまり個性はあるものの，身体活動た，満足度や疲労度に着目し，身体とメンタルヘルスに関量と社会活動量の両方をバランスよく得られる活動，わる社会的な健康 [3], [4] にもつながる過ごし方を目指す

身体活動量が得られる活動，社会活動量が得られる活指標を見出したいという意図がある．

動といったグループに該当する傾向が見られた．

( 3 ) 参加者 1 名の半日の身体活動量と社会活動量の遷移を

3. 身体活動量と社会活動量の計測可視化した．身体活動量と社会活動量の両方が移り変

2 つのウェアラブルデバイスを使用して，社会活動量とわる様子を可視化することで，当人の活動リズムやバ身体活動量を計測する．身体活動の量は、既存のスマートランスが分かるのではないかと考える．

ウォッチ型デバイスである Fitbit Versa [6] によって計測さ

2. 関連研究れた．社会活動の量は我々が開発しているペンダント型デバイスである顔数計 [5] で計測された．以下に詳細を示す．

これまでにライフログから日常活動を分類する手法の研究は多くされている．加速度変化を手掛かりに日常活動を3.1 身体活動量の計測分類する手法では，歩いているのか，走っているのかなど

我々は、座る・立つ・歩く・走る・スポーツをするなどがわかる [7]．Suzuki らは，加速度変化のほかに心拍数のの活動を身体活動と解釈する．既存のスマートウォッチ型変動を考慮することで，睡眠の質を詳細に分析しているデバイスである Fitbit Versa [6] を使用した．運動中の心[8]．一方，Ortis らは，一人称視点映像に映り込む特徴を手拍数から推定されるカロリー消費量を使用して，身体活動掛かりにして，自動的にテレビや台所，読書などの日常活量を計測した（図 1 参照）．

動をインデクスにしている [9]．Pal らは，環境カメラに映カロリー消費量は，身長・体重・年齢・性別の情報を使り込む人の動きを手掛かりにして，日常活動の忙しさの度用して計算された BMR（基礎代謝率）に基づいて推定さ合いを計測している [10]．また，中村らは，マルチモーダれ、安静時に消費されたカロリーが含まれる．つまり眠っルデータと一人称視点映像からエネルギー消費量を推定しているときや動いていないときでも体はカロリーを消費すている [11]．早川らは，赤外線センサで相手との近さを測るため，目を覚ますとデバイスで消費カロリーが表示され，り，加速度変化から身体動作の同期を測り，それらのデーこの数値は 1 日を通して増加する．図 1 のように，消費カタを組み合わせることでグループ活動の種類と質の特定をロリー量の最低値は 0 ではない．

している [12]．また，Olguin らは，加速度センサによる運© 2022 Information Processing Society of Japan

Fitbit のアカウントページから，1 分間隔で記録される

214

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1P01
2022/2/21

消費カロリー量の生データをダウンロードして，消費カロの参加具合によって，得られる社会活動量が変わる活リー量の計算に使用した．なお，座る・立つといった非歩動である．座ったままの食事であり，身体活動量はほ行時の身体活動を計測するために，歩数ではなく消費カロとんど得られない．

リー量を使用した．

料理 複数人で料理をした．キッチンで手順を確認したり，物を置くなどをしていた．ホットプレートで焼い

3.2 社会活動量の計測
社会活動量は，ある時点で計量対象者に向けられる他者の顔の数を数えることによって計測する [5]．図 1 のようている間にはテレビを見たり友人と対話して過ごしていた．狭い空間での活動であるが，少しの身体活動量と社会活動量が得られる．に，対面する相手の顔を検出して数え上げる．その際には，ミーティング 複数人や一対一で対話をした．対話への参対面する相手との近接性と時間継続性を計算時に考慮する

加具合によって，得られる社会活動量が変わる活動でことで質を評価している．

ある．対話時に座る・立つ・移動する場合には身体活抽出した日常活動の一人称ライフログ映像を用いて，5動量も得られる．

秒毎の社会活動への参与度を取得した．なお，斜めや隣り見学 ポスターセッションや市街地の見学ツアーに参加し合わせの対話を捉えるために，画角が 200 度のカメラを使た．対話への参加具合によって，得られる社会活動量用している．

が変わる活動である．対話時や対話の前後に移動が伴うため，身体活動量も同時に得られる．

3.3 二次元平面へのマッピング

作業 複数人や一人で作業した．持続的な対面対話は発生

今回は，各種 10 分間の日常活動について身体活動量と社しなかったが，瞬間的なコミュニケーションがあり，会活動量を二次元平面にプロットした (図 1 参照)．Fitbit

少しの社会活動量が得られる活動であった．また，誰Versa から計測される消費カロリー量の 10 分間の総量を計かと一緒に物を作る，あるいは撤収する際には，座る・算し，身体活動量とした．また，顔数計から計測される日立つ・移動が伴うため，身体活動量も同時に得られる．

常活動の一人称ライフログ映像を用いて，5 秒毎の社会活

スポーツ 複数人で卓球やバスケットボールをした．持続動への参与度を取得し，10 分間の総量を社会活動量とし的な対面対話は発生しなかったが，瞬間的なコミュニた．このとき，二次元平面の横軸と縦軸は，各活動量の数ケーションがあり，社会活動量も少し得られた．座る・

値を 1〜10 の値に比率を保ったまま変換された値である．

立つ・歩く・走ることが多いほど，身体活動量が多く変換は，map 関数の計算方法 [15] を用いた．

得られる．

同一人物の様々な日常活動を可視化する際には，当人の散策 友人と公園，お祭りの屋台を散策した．持続的な対37 シーンの日常活動における身体活動量と社会活動量の上面対話は発生しなかったが，瞬間的なコミュニケー限値と下限値を使用した（4 章を参照）．また，複数人の同ションがあり，少しの社会活動量が得られる活動で一空間上での活動を可視化する際には，3 名の 6 シーンのあった．歩いて移動する時間が多いほど，身体活動量日常活動における身体活動量と社会活動量の上限値と下限が多く得られる．

値を使用した（5 章を参照）．そして，同一人物の半日の活

移動 複数人あるいは一人で移動した．移動時に周囲に人動遷移を可視化する際には，当人の 7 シーンの日常活動にがいる場合，少しの社会活動量が得られる活動である．

おける身体活動量と社会活動量の上限値と下限値を使用し乗り物を利用せずに，自分の足で移動するほど，身体た（6 章を参照）．

活動量が多く得られる．

4. 同一人物の様々な日常活動の可視化

次に，得られた数値を k-means 法 [16] により 3 つのグループに分類した結果を図 3 に示す．当人にとって，社会参加者 1 名の日常活動（8 種類，37 シーン，各 10 分）に活動量が多く得られる活動（GroupA），身体活動量と社会ついて身体活動量と社会活動量の二次元平面にプロット

活動量の両方を一度にバランスよく得られる活動，およびし，活動ごとの傾向を分析した (図 1，図 2 参照)．

両方が少ない活動（GroupB），身体活動量が多く得られる

各活動のマーカーは，計測した日常活動の種類を示して活動（GroupC）の 3 グループに分類した．

いる．図 2 の写真は社会活動量順に並んでいる．参加者 1

今回得られた結果は，全て同一人物のデータである．そ名は大学生であり，食事，料理，ミーティング，見学，作の当人の日常活動の傾向としては，共食やグループミー業，スポーツ，散策，移動といった日常活動を計測した．

ティングをすると社会活動量を増やせることが分かる．ま以下に各々の活動シーンの傾向を記述する．なお，今回た，散策やグループでスポーツをすると身体活動量を増やの計測は全て同一人物の計測データであるため，傾向は当すことができる．そして，両方の活動量を一度にバランス人のものと考える．

良く増やしたい場合には，複数人で作業すると良いことが食事 複数人で昼食をとった．昼食時に座る位置と対話へ分かる．

© 2022 Information Processing Society of Japan215

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1P012022/2/21

図 2 同一人物の様々な日常活動（8 種類，37 シーン，各 10 分）を，身体活動量と社会活動量に基づいて可視化．各シーンの写真は，社会活動量順に並んでいる．

1 日や 1 週間で，これらのような様々な活動を組み合わせることで，身体活動量と社会活動量をバランス良く得ることを目指せるのではないかと考える．我々は，身体活動量と社会活動量を組み合わせて可視化することで，当人にとって，どのような活動をすると精神面と肉体面の活動のバランスがとれるのかの示唆が得られると考える．

5. 複数人の同一空間上での日常活動の可視化
参加者 A, B, C の計 3 名の同一空間上における日常活動
図 3 k-means 法 [16] により日常活動を 3 グループに分類した結果（4 種類，6 シーン，各 10 分）について，二次元平面にプロットし，活動ごとの傾向を分析した（図 4 参照）．なお，一方，食事，ミーティング，見学，作業，散策，移動は活動の程度により属するグループが異なる．つまり，積極参加者 A は大学教員であり，参加者 B，C は大学生である．
以下に各々の活動シーンの傾向を記載する．

的に人と関わることが少ない食事，ミーティングでは，料作業 3 名とも身体活動量と社会活動量の両方を一度に得理や作業時と似た活動量が得られることが分かる．また，られた．ポスターセッションを始める前に，複数人で移動が多い複数人での作業は，移動が少ない複数人での散カメラなどの機材の設置，ポスターの設置をしていた．

策と似た活動量が得られる．さらには，今回の結果では，見学（ポスター） 3 名とも身体活動量と多くの社会活動

人混みの中の移動と友人とのバスケットボール，友人との量を一度に得られた．ポスターセッションに参加して花見散策では似た活動量が得られた．

いた．参加者 C のみ前半プレゼンターであった．

© 2022 Information Processing Society of Japan216

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1P01
2022/2/21

図 4

複数人の同一空間上での活動見学（展覧会） 3 名とも身体活動量と社会活動量の両方計算された BMR（基礎代謝率）に基づいて推定され、安を一度に得られた．参加者 B は，誰かと持続的な対話静時に消費されたカロリーが含まれる [6]．そのため，参をしていなかったため，社会活動量がほとんど得られ加者 B の身体活動量は他の 2 名と比べて少なくなっているていなかった．参加者 A，C は展示物を見る際に，近ことに注意したい．実際にユーザに他者との活動量の比較

くの人やプレゼンターと対話していた．

を提示する際には，身体活動量を平等に比べられるように移動 社会活動量は得られず，身体活動量が得られた．3
名とも歩いて移動し，車に乗り込み移動を続けた．
食事（飲酒なし） 3 名とも社会活動量を得たが，各々で多さが異なっていた．参加者 A，C は料理のメニューなどを手に取り，会話の中心になっていた．
食事（飲酒あり） 参加者 A，C は多くの社会活動量と身処理する必要があると考える．

6. 同一人物の半日における活動遷移の可視化
身体活動量と社会活動量の両方を計測し，大学生の半日における日常活動の遷移を可視化した（図 5 参照）．
以下に各々の活動シーンの傾向を記載する．

体活動量の両方を得た．参加者 B はほとんどの活動

午前 11 時：ミーティング 身体活動量と社会活動量の両量が得られなかった．参加者 A，C は会話に参加して方が少ない．研究室ミーティングに参加した．座った盛り上がっていたが，参加者 B は席の端で隣の会話グまま，PC とプロジェクターのスクリーンを見て話をループの話を聞いていた．

聞いていた．

3 人の活動がマッピングされる位置は，個々人で数値の午後 12 時：立ち話 身体活動量と社会活動量の両方が少大小の差，つまり個性はあるものの，身体活動量と社会活し得られた．椅子に座って対話した後，立って友人と動量の両方をバランスよく得られる活動，身体活動量が多く得られる活動，社会活動量が多く得られる活動といったグループに該当する傾向が見られた．
一方，飲酒による体内の活動によっても消費カロリー量が変化し，参加者 A, C の消費カロリー量が増えたため，対話をして移動を始めていた．
午後 13 時：昼食 社会活動量が多く得られた．椅子に座って友人と対話しながら昼食をとった．
午後 14 時：作業 身体活動量と社会活動量の両方が少し得られた．友人と PC を用いて作業した．

多くの社会活動量と身体活動量の両方を得られた．日々の午後 15 時：作業，移動，立ち話 身体活動量が多く得ら活動の中で，飲酒をする人は少なくないと考える．飲酒にれた．作業後，移動して友人と少し立ち話をした．

よって得られる身体活動量と，運動によって得られる身体

午後 16 時：作業，移動 身体活動量と社会活動量の両方活動量を同じように扱うことに関してユーザがどのようなが多く得られた．友人との作業後，一人で移動した．

印象を受けるか調べて検討する必要があると考える．
なお，参加者 A，B，C の消費カロリー量は，運動中の心拍数，そして身長・体重・年齢・性別の情報を使用して© 2022 Information Processing Society of Japan

午後 17 時：作業 社会活動量が少し得られた．友人と作業した．
図 5 でプロットされているように，この日の大学生の半217

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1P01
2022/2/21

図 5 同一人物の日常活動の遷移

日の活動において，常に同じ座標に留まらず，移り変わっている様子を可視化することができた．我々は，職種，性

[6]
[7]

別，年齢によって日々の過ごし方は異なり，個々人にとって適度な活動量，活動リズムというものがあるのではないかと考えている．ユーザが活動量を増やすという目標の他に，活動量を精神面と肉体面でバランス良く得ることを目[8]

標に行動できるようにしたいと考える．

7. おわりに[9]

本稿では，人の精神面に関わる社会活動量と肉体面に関わる身体活動量の両方を計測し可視化することで，どのような活動時に両方の活動量をバランス良く得られるのかについて明らかにすることに取り組んだ．ライフログから生[10]

活を見直し，満足度の向上や疲労度の軽減のような心身の健康につながる過ごし方，指標の発見を目指している．今回はその第一歩として，日々の活動が身体活動量と社会活動量に基づいてどのように可視化され得るかを調べた．
我々は，年齢や性別，職業によって異なると考えられる[11]

個々人の活動リズム，個々人にとって適度な活動量を可視化することに興味がある．また，同一人物内での日々の比較，および他者との比較といったフィードバックをするこ[12]とに取り組み，行動変容について調査したい．
参考文献
[1]

[2]

[3]

[4]

[5]

Biddle, S. J. and Asare, M.: Physical activity and mental
health in children and adolescents: a review of reviews,
British journal of sports medicine, Vol. 45, No. 11, pp.
886–895 (2011).
Penedo, F. J. and Dahn, J. R.: Exercise and well-being:a review of mental and physical health beneﬁts associated with physical activity, Current opinion in psychiatry, Vol. 18, No. 2, pp. 189–193 (2005).
House, J. S., Landis, K. R. and Umberson, D.: Social relationships and health, Science, Vol. 241, No. 4865, pp.
540–545 (1988).
Kawachi, I. and Berkman, L. F.: Social ties and mental health, Journal of Urban health, Vol. 78, No. 3, pp.
458–467 (2001).
奥野 茜，角 康之： 一人称ライフログ映像からの顔検出に基づいた社会活動計測，情報処理学会論文誌，Vol. 62,
No. 2, pp. 607–616 (2021).

© 2022 Information Processing Society of Japan

[13]

[14]

[15]
[16]

Fitbit: Fitbit Versa Lite Edition (2018).
Guo, F., Li, Y., Kankanhalli, M. S. and Brown, M. S.:
An Evaluation of Wearable Activity Monitoring Devices,
Proceedings of the 1st ACM International Workshop on
Personal Data Meets Distributed Multimedia, PDM ’13,
New York, NY, USA, ACM, pp. 31–34 (online), DOI:
10.1145/2509352.2512882 (2013).
Suzuki, T., Ouchi, K., Kameyama, K.-i. and Takahashi,
M.: Development of a Sleep Monitoring System with
Wearable Vital Sensor for Home Use., BIODEVICES,Citeseer, pp. 326–331 (2009).
Ortis, A., Farinella, G. M., D’Amico, V., Addesso, L.,
Torrisi, G. and Battiato, S.: Organizing EgocentricVideos for Daily Living Monitoring, Proceedings of theFirst Workshop on Lifelogging Tools and Applications,
LTA ’16, New York, NY, USA, ACM, pp. 45–54 (online),
DOI: 10.1145/2983576.2983578 (2016).
Pal, S. and Abhayaratne, C.: Video-based Activity
Level Recognition for Assisted Living Using Motion
Features, Proceedings of the 9th International Conference on Distributed Smart Cameras, ICDSC ’15,
New York, NY, USA, ACM, pp. 62–67 (online), DOI:
10.1145/2789116.2789140 (2015).
Nakamura, K., Yeung, S., Alahi, A. and Fei-Fei, L.:
Jointly Learning Energy Expenditures and Activities Using Egocentric Multimodal Signals, 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp. 6817–6826 (2017).
早川 幹，大久保教夫，脇坂義博： ビジネス顕微鏡：実用的人間行動計測システムの開発，電子情報通信学会論文
誌，Vol. J96-D, No. 10, pp. 2359–2370 (2013).
Choudhury, T. and Pentland, A.: Sensing and Modeling
Human Networks Using the Sociometer, Proceedings ofthe 7th IEEE International Symposium on Wearable
Computers, ISWC ’03, Washington, DC, USA, IEEE
Computer Society, pp. 216–222 (online), available from⟨http://dl.acm.org/citation.cfm?id=946249.946901⟩(2003).
Olguı́n, D., Waber, B. N., Kim, T., Mohan, A., Ara, K.
and Pentland, A.: Sensible organizations: Technology
and methodology for automatically measuring organizational behavior, IEEE Transactions on Systems, Man,and Cybernetics, Part B (Cybernetics), Vol. 39, No. 1,pp. 43–55 (2009).
Arduino: map() - Arduino Reference (2021).
MacQueen, J. et al.: Some methods for classiﬁcation
and analysis of multivariate observations, Proceedings of
the ﬁfth Berkeley symposium on mathematical statistics
and probability, Vol. 1, No. 14, Oakland, CA, USA, pp.
281–297 (1967).

218