氏
学位名

奥野 茜

名

博士（システム情報科学）

学 位 記 番 号

第６６号

学位授与年月日

令和５年３月２２日

学位論文題目一人称ライフログを用いた心身活動の理解

論文審査委員主査 角 康之
副査 角 薫副査 塚田 浩二
副査 山下 直美（NTT コミュニケーション科学基礎研究所 特別研究員）

論

文 要 旨

本論文は，長期的な一人称視点映像（以下，一人称ライフログ映像と呼ぶ）に映り込む
外的情報に基づいた任意のユーザ（以下，当人と呼ぶ）の内的状況の可視化に取り組む．
小型のカメラを身につけて行動することで，カメラ装着者である当人の外的情報が記録される．例えば，当人の対話相手などが外的情報として一人称ライフログ映像に記録される．我々は，これらのような外的情報には，当人の内的状況が与える周囲への影響が関係していると考えている．このアナロジーにより当人の外的情報に基づいて，当人の内的状況を推測し可視化する．なお，ここで扱う内的状況とは，当人の興味関心度など精神的なものである．本研究では，人と関わる活動への当人の興味関心度と満足度，疲労度に焦点を当てる．以下，2 つの具体例を挙げて見通しを示す．
１つ目は，他者との対面時の当人の参与度を時間方向に積算した値を社会活動量と定義して計測する．本研究で計量を試みる対面的な社会活動とは，実空間における対面状況において他者と何らかの関わり合いを持つ行為全般を指す．社会的な場への関わりの度合い（つまり，発話したり積極的に共同作業に関与する度合い）を，本研究では対面的な社会活動への参与度と呼ぶ．対面時の参与度を簡素な方法で定量化することを目的として，一人称ライフログ映像中の顔を検出してカメラ装着者の社会活動を計測する「顔数計」を提案する．顔の個数を数え上げるだけでは，雑踏での他者との遭遇や，特定の人物との密な対話を同一に扱ってしまう．そのため，距離の近さと時間継続性により重み付けをすることで，対面的な社会活動の種類を数え分けることを行う．対面時の発話量やジェスチャなどの計測をせずに，映り込む顔の検出パターンに基づいてカメラ装着者の参与度を定量化し，日々の対面的な社会活動を数え分けて計測することが本研究の特徴である．次に，顔数計を用いた主観評価実験を行い，社会活動量が多いと感じる傾向がある状況を調査した．結果から，発話やジェスチャそのものを計測せずに，カメラ装着者が主体的な行動をした際に向く相手の顔を検出することで社会活動量を計測できることが示唆された．加えて，当人が意識的に人と関わり合おうとする主体性を考慮して社会活動量を計測するためには，距離の近さと時間継続性を考慮することが重要であることがわかった．また，カメラの画角を広げることで，立ち位置が正面ではない対面時の参与度の計測を改善できることが示唆された．最後には，応用例として一人称ライフログ映像からの顔検出に基づいて日々の対面的な社会活動を計測した結果を可視化するシステムへの応用を検討した．日々の行動から対面的な社会活動を数え分けて計測した結果を数値やグラフとして可視化すると，1 日や 1 週間の中で，人とのすれ違いと持続した対面を見分け，社会活動量を時間帯や曜日に紐付けて客観的に把握することができる．生活の中で意識することが難しい自身や他者の対面的な人との関わり合い方の傾向を知る手掛かりになると考える．
また，人と対面的な関わり方を調整するきっかけを提供するための「顔数計」を生活環境下で使用できるように，インターフェース設計と社会活動量を振り返る Web アプリケーションの開発に取り組んだ．顔数計と Web アプリケーションから構成される本システムにより，人と関わろうとする動機付けを促進するのみならず，個人に合わせた適切な人との関わり方の発見を促進することも目指した．実生活の中で，運動をし過ぎると疲れるように，人と関わり過ぎると疲れやストレスを感じる傾向があるためである．本システムの運用として，実際に同研究室 2 名に数日間，顔数計を利用してもらった後に，日々の人との関わり方を被験者 2 名で一緒に振り返ってもらった．その結果，自身の行動に対する発見や他の人とスコアをもっと比べたいなど，システムに対して肯定的な感想が得られた．
2 つ目は，我々が開発した社会活動量計である顔数計を身体活動量計と併用することで，当人の様々な日常活動を二次元平面上で分類後，可視化し，当人の気づきを調べる．
ライフログから生活を見直し，満足度の向上や疲労度の軽減のような心身の健康につながる過ごし方，指標の発見を期待している．スマートウォッチから得られる身体活動量と，胸元に装着する顔数計から得られる社会活動量の大小から日常活動の分類を行い，可視化された結果から気づきを得る．大学院生である著者自身の日常活動を計測した結果に対して階層型クラスタリングを行なった．その結果，当人にとって，身体活動量と社会活動量の両方を一度にバランスよく得られる活動グループ，身体活動量が得られる活動グループ，社会活動量が得られる活動グループ，どちらも控えめな活動グループの計 4 グループに分類された．そして，身体活動量と社会活動量の二次元平面にプロットし，活動ごとの傾向を分析した結果，共同作業をすると簡単に両方の活動量が得られるなどの発見が得られた．次に，個人差について調べるために，3 名の同一空間上における活動について，二次元平面にプロットし，活動ごとの傾向を分析した．3 名の活動がマッピングされる二次元平面上の位置は，個々人で値の大小の差異，つまり個人差があった．一方，3 名の活動

は，身体活動量と社会活動量の両方をバランスよく得られる活動，身体活動量が得られる活動，社会活動量が得られる活動といったグループに該当する傾向が見られた．次に，身体活動量と社会活動量の遷移を可視化する応用例について議論するために，上記被験者 3名に含まれた 1 名の半日の身体活動量と社会活動量を取得し，遷移を可視化した．身体活動量と社会活動量の両方が移り変わる様子を数時間単位で可視化することで，当人の活動リズムやバランスを知るための手掛かりになるのではないかと考える．
最後には，本研究を通して見つかった新たな課題に対する展望について述べる．対面対話する際の立ち位置に関する議論，心身活動の個人差に関する議論，プライバシーに関する議論，一人称ライフログ映像に関する議論について述べる．
キーワード：社会活動計測，一人称視点映像，ライフログ，顔検出，自己定量化

審査結果の要旨
・学位論文の構成
以下の5章で構成されている．
1.序論：研究の目的と論文構成
2.関連研究：研究の位置づけ
3.一人称ライフログ映像からの顔検出に基づいた社会活動計測：本研究の核となるアイディアの呈示と評価実験に基づいた分析
4.社会活動量計の実用に向けた検討：顔数計データを利用した振り返り支援ツールの提案と，それを利用した評価実験の報告と議論
5.社会活動量と身体活動量の関係に着目した日常活動の分類および可視化：提案した社会活動計測と，従来から存在する身体活動計測を組み合わせた心身活動の理解
6.結論：全体のまとめと展望・研究目的の妥当性,従来の手法との比較においての有意性, および理論・実験手法の新規性
本研究の目的は，世の中に普及しつつある身体活動計測に基づいた健康管理に加えて，社会活動の量と質を計測・可視化することで日々の心身活動を振り返るための新しい視座を提示することである．日々の心身活動の量や質を理解することは個々人の生活の質の理解やより良い組織運営に寄与する．またこの 2,3年間制限されている対面コミュニケーションの意義を議論する意味でも重要かつタイムリーな研究課題である．
社会活動の計測は，これまでも赤外線センサによる近接判定，カメラによる高度な画像処理，発話者を特定する音声処理など多様な手段を用いて，各々の位置計測，対面有無の検出，発話者認定に基づく会話状況認識に関する研究が行われてきた．それに対し
本研究は・胸に装着したカメラに映り込んだ対面者の顔の数を数えるという単純な手法から議論を開始し，・個別の顔の近接性と時間継続性を考慮することで，少人数であっても当事者の参与度が高いインタラクションを重視した計測値を出力することが可能であること・対面者をとらえるには広視野カメラが重要であることを示すことができた．
研究手法の特徴は，申請者当人および周辺の研究室メンバによるライフログ，つまり日常的なビデオ記録や腕時計型の身体活動計測のデータに基づいていることである．そのことで当事者による振り返りに基づいた実践的研究としての面白さがある一方で，データ収集に仮説検証的な戦略が欠けていることやコロナ禍で新しいデータの収集が難しいという困難があった．そういった状況下でも申請者は， 一人称映像を利用した当人，会話相手，および第三者による印象評価データを収集し， 提案手法との相違を比較分析することで提案手法の評価を行った．こういった研究手法は前例が少なく申請者による粘り強い試行錯誤の結果であり，当該内容を発表した論文は論文賞を受賞し学会でも高く評価されている．
・得られた知見のシステム情報科学の分野における意義
本研究の目的は他者との対面社会活動の量と質を測ることである． 単に多くの人と対面するだけでなく，社会活動の場において当人が積極的に参与しているかどうかを測ることを目的としている したがって直感的には，当事者の発話の有無を計測することが不可欠と考えられがちであるし，事実，これまでの先行研究の多くが当事者の発話の有無を音声的に測る手法を提案してきた．それに対し本研究が提案する手法は音声の計測や処理を扱う必要が無く，対面者の顔を数えるという極めて単純な画像処理だけで上記の目的を達成していることが特徴である．提案手法は会話の聞き手反応に着目してデバイス装着者の活動量を測るという興味深い考え方を提示しており，そこでの知見はウェアラブルセンシングの実装法や社会言語学といった広い分野にとって意義がある．
・まとめ以上のことから，マイナーな修正が期待される部分も多少残っているが，自身のオリジナルな研究成果とその学術的価値や社会的意義については十分な量と質の記述がなされ，システム情報科学の博士論文として合格と判断する．