2023 年度情報処理学会関西支部 支部大会

G-13

行動関連語によるマイクロ行動の分散表現の検討
A Study of Distributed Representation of Micro Activity by Action-Related Words

1.

笹崎 海利 †

松井 智一 †

諏訪 博彦 †安本 慶一 †Kairi Sasazaki

Tomokazu Matsui

Hirohiko Suwa

Keiichi Yasumoto

はじめに意図や流れを読み解くことができるコンテキストアウェ

近年，IoT 技術の発展に伴い住宅内環境のスマート化

アな宅内サービスの提供を実現することである．行動のが進んでいる．とりわけ，在宅中の居住者の行動を認識分散表現を獲得するために，テキストの分散表現のアイする技術については，居住者の生活行動を認識することデアをマイクロ行動のクラス分類へ応用し，日常生活中で，より利便性の高い宅内サービスの提供が可能になるに発生する会話の文脈や文章ベクトルを基にマイクロ行として注目されている．宅内行動を認識することで，家動の分散表現を構築する．本稿では，発話と行動の擬似電の省エネ化や高齢者の見守りの役割を果たすことが可データセットを LLM を用いて生成する手法を開発し，能になる．家電制御については，状況に応じた自律化や擬似データセットを用いて行動の分散表現を獲得する手最適化が可能になるほか，独居中の高齢者に対しては転法について検討した内容について報告する．

倒や夜中の徘徊などといった異常な行動を検知すること

本稿の構成は，次のとおりである．2 章では，関連しが可能となり，非常時の対応を早めることが期待できる．

た既存研究を紹介し，本研究の位置付けを明らかにする．

これらの宅内サービスの利便性を高めるには，正確な3 章では提案する LLM を利用した言語-行動エンコーダ

行動認識技術が必要になり，そのためには行動をより詳の開発手法について説明し，4 章ではこれを実現するた細に認識することが重要になる．しかし，従来の行動認めの実験計画について述べる．5 章では，本稿の結論と識手法では，「料理」「食事」等の「マクロ行動」と呼ば今後の展望について述べる．

れる行動を推論することを目指している．そのため実際にはマクロ行動では詳細な行動を認識するには不十分でありマクロ行動を細分化した「マイクロ行動」を認識する必要がある．ただし，このようなマイクロ行動認識においては認識するべき行動が無数に定義可能であることから，機械学習における他クラス分類での問題定義が難

2.

関連研究

本章では，宅内における日常生活行動認識と教師なし
学習による行動認識について関連する既存研究について調査した結果を示し，本研究の意義について述べる．

2.1

宅内における日常生活行動認識に関する研究しいことが課題として挙げられる．これは推論すべき正Balli ら [1] はスマートウォッチに搭載された IMU，歩解ラベルについて設定するべき粒度の決定が困難である

数計心拍センサから得られるデータを主成分分析によることに起因する．多くのマクロ行動は，マイクロ行動へ次元削減を行なった上で，RandomForest を用いて「歩細分化が可能であり，その識別クラスの粒度はあらかじく」，「座る」，「PC 操作」「静止状態」など 8 種類の動作め設定しておく必要がある．に識別した．結果として，F 値にして 98.5%の精度で分また，これらの行動認識用の識別クラスは，一般的に類可能であることを示している．

は機械学習モデルの設計者が定義するものである．しかMatsui ら [2] は一般家庭においても行動認識技術を利し，行動認識結果を実サービスへ応用する場合に，サー用すべくプライバシーを考慮したセンシングシステムをビスの提供者が求めるクラス分類が機械学習モデルに提案している．非侵襲的なエナジーハーベスティングで定義されているとは限らない．これまでのクラス分類で動作するセンサとアノテーションボタンから構成されたは，One-hot エンコーディングのように行動データと正このシステムを用いてデータ収集を行い，「食事」，「調理」解ラベルを一対一で対応させるベクトル表現を用いてき「入浴」「睡眠」「外出」の 5 種類の行動について LSTMた．そのため，行動認識モデルをサービスへ実利用へ拡モデルで行動認識を行った結果として再現率で 72.3%の張するには，新たなデータセットでの再学習かファイン精度で識別している．

チューニングが必要になる．

Rai ら [3] は複数視点の映像と音声，環境センサデー

本研究の目的は，行動を演算可能な分散表現として扱タで構成されたマルチモーダルなデータセットを提案しい，サービスの提供者が行動を認識し，居住者の行動のている．行動の階層構造に着目し，行動を撮影した映像にアノテーションを行うだけでなく映像中に見られる一†奈良先端科学技術大学院大学，Nara Institute of Scienceand Technology

つ一つの細かい行動に対してもアノテーションを行うことで，推論結果を改善できることを示している．

2.3

本研究の位置付け

Chatterjee ら [4] は IMU による行動認識のために音

これまで既存研究について述べてきたが，多くの研究

響センサを用いた自動的なアノテーション方法を提案しにおいて，行動の粒度が「粗い」マクロ行動認識に留まっている．教師データを作成するアノテーションタスクをており，生活行動中のコンテキストを考慮することがで行う際に，ウェアラブルデバイスに IMU とともに搭載きていない．また，マイクロ行動認識を行う研究もある

されている音響センサを用いてエッジ上でアノテーショが対象領域が限定的であることや正解ラベルのクラス数ンを行うことで，プライバシーに配慮しつつ教師データが定まらない等の課題がある．これに対して，未知の正を作成することを可能にした．

解ラベルを推論することができるゼロショット学習によ

教師なし学習による行動認識に関する研究

る行動認識については動画像と単語の埋め込み空間を利手作業によるアクティビティ定義とデータ収集の必用した手法を紹介したが，文章表現を利用するものは少要性をなくすためにゼロショット学習が提案されているない．これらの研究は，未知の行動を推論することを目[5–7, 7–10]．ゼロショット学習の目的は学習データに表的としており，推論結果の解釈および実生活中のサービれない未知のデータに対して学習済みの知識を応用する

スにおける活用を前提としているものではない．これらことである．教師あり学習では全てのクラスの正解デーのことから，本研究は文章の分散表現を参考に行動につタを集める必要があるが，ゼロショット学習ではその必いても演算が可能な分散表現を獲得する手法を開発する．

要なく未知のデータに対しても推論が可能である．

従来の離散的で行動認識結果とは異なり演算により結果

2.2

センサデータを利用した行動認識に属性の埋め込み空間を利用した研究 [11, 12] がある．センサデータから抽出した特徴空間を属性空間へ射影するモデルに CNN やMLP を採用している．意味空間には属性空間を採用しているが，属性の重要度という概念を導入し異なるクラスからのインスタンスに対しては属性において異なる反応を示すものとなっている．

Tong ら [13] は生活行動を収めた動画から意味空間を取り出し，IMU ベースのゼロショット学習による行動認を解釈することが可能になるマイクロ行動認識手法であると位置付けることができる．

3.

提案手法

本章では，提案手法の概要とその構成について述べる．
本研究では行動の分散表現を獲得するため宅内での発話に関する擬似データ生成と発話から行動を推論する言語行動エンコーダを開発する．

3.1

概要

識手法を提案した．IMU の特徴を区別するために重要

提案手法の概要を図 1 に示す．ChatGPT に代表されな動きについて情報を持った動画像を利用して未知のクるような LLM(Large Language Model) を活用し，後のラスについても分類を可能にしている．

3.2 節で詳細について述べる網羅的な行動環境（マクロ行

Matsuki ら [14] は単語の埋め込み空間を利用したゼロ

動，居住者属性，住環境等）を入力とした生活行動中の発ショット学習による活動認識のための意味空間を提案し話に関する擬似データセットを作成する．データセット構ている．センサから得た特徴ベクトルと単語の埋め込み築のために利用するマクロ行動は，佐々木らの提案 [16]を意味ベクトルとして一対一に対応づけることで未知のに基づいて決定し，各行動それぞれについて付随する行行動クラスに対しても識別が可能であると示している．

動環境のパラメータをランダムで決定し LLM に対する∗Xia ら [15] は ChatGPT を利用した教師なし行動認入力とする．行動に関連する発話の擬似データセットを識手法を提案している．行動時に接触するオブジェクト作成した後，事前学習済み BERT [17] や fastText [18]のリストから行動を推定するタスクについて情報量の多などの言語処理モデルを用いて，テキストから行動や居寡で精度を比較した．単にオブジェクトのリストだけを住者属性，環境を推論する言語-行動エンコーダを構築与える場合，データセットや wikipedia からの文章を共する．最終的にこのエンコーダの中間層を取り出すことに与える場合，そして ChatGPT に事前に生成させたオで，発話からベクトルにエンコードされた行動を抽出すブジェクトと対応するアクティビティを学習させ知識文ることができる．これを行動の分散表現とすることで認を共に与える場合の 3 パターンで比較を行っている．生識結果を計算可能な形で解釈可能な新しいマイクロ行動

成した知識文を用いた場合の結果が最良の結果を示した認識の概念を提案する．

ことから，ChatGPT における 2 段階のプロンプトエン

3.2ジニアリングの有効性を示している．

LLM を用いた会話の擬似データセット生成

生活行動は共通理解を得るための言語化が行われやす
く，文化的な背景の影響も受けるものと捉えることがで∗ OpenAI:

ChatGPT,(accessed 2023-07-20)https://openai.com/blog/chatgpt

きる．そのため，言語によって大規模かつ網羅的に行動会話の擬似データ⽣成による⾏動の分散表現化
例

⼊⼒プロンプト“⾷事” の際に想定される会話をシミュレートして。

分散表現
空間

発話内容の擬似データ

発話内容

⼊⼒⽂章

⾷事
⾔語処理モデル・⾏動、属性、環境…

⾷事・発話
今⽇のご飯どうする？

⾷事/
外出

外出
発話/⾏動
セット

圧縮された
⾏動の分散表現を抽出

全結合層

せっかくだしラーメンを⾷べに⾏こう

料理
掃除

睡眠

正解ラベル

⾏動/属性/環境

出⼒レスポンス
⾏動/属性/環境

ベクトル表現により領域で⾏動を推定可能

図 1: 提案手法の概要

行動名

表 1: 宅内行動一覧
行動の定義

らが定義した 17 のマクロ行動のうちの 1 つと，会話をする人数，話者の年齢，居住地区，住環境，そして社会属性を与える．入力として与えるプロンプトを制御する

洗顔

洗面所で顔を洗う

パラメータとその例については表 2 に示す通りである．

入浴

浴室で体を洗い湯船に浸かる

それぞれのパラメータを入力に用いる理由を述べる．マ料理

キッチンで食材を調理する

クロ行動はそれぞれに関わる発話を得るために必須であ

食事

料理を食べるる．会話の人数は 1 人の場合ホームアシスタントなどの食器洗い

食器を洗う人ではない相手であり 2 人以上であれば人である可能性

トイレ

トイレで用を足すが高いため会話文中における表現が変わる可能性がある

部屋掃除

部屋を掃除機で掃除すると考えたためである．話者の年齢を含めた理由は言葉遣

風呂掃除

浴室を掃除する

いや発話内容に差異があると考えたためであり，居住地洗濯

衣類を洗濯機に入れる区を含めた理由は出現する単語に違いが出る可能性があ

PC 作業

PC で作業するると考えたためである．住環境についてはアパートではスマートフォン操作

スマートフォンを使う

宅内に階段がないように，行動に制約を生む可能性があゲーム

ビデオゲームをする

り，社会属性は発話内容に持っている知識が影響を与え読書本を読むる可能性を考慮したためである．入力するプロンプトは

TV 視聴

TV を視聴する

前述のパラメータを自動で変化させながら生成する．

睡眠

ベッドで睡眠をとる

図 2 に示すように，これらの入力を GPT に与えその身支度外出の準備をする

状況下で発生する会話をシミュレートさせる．評価のために擬似データとして獲得された発話内容が人の発話内を表現するデータを獲得することで，あらゆる生活行動容とどれだけ異なっているかを確かめる 2 群比較の検定に対応した行動の分散表現を構築できると考えられる．

を実施する．

生活中におけるマイクロ行動はほぼ全て自然言語で説明

3.3

言語-行動エンコーダの構築可能であるという仮説のもと，言語に基づくマイクロ行LLM（GPT-3.5-turbo）を利用して作成した擬似デー動の擬似データを生成する．擬似データの生成には実際タの発話内容を言語処理モデルに与えるため次の手順をに人の会話を生活実験中から取得することが望ましいが，行う．

コストが膨大になるため現実的ではない．これを受け，人の会話をシミュレート可能で大量にデータを収集してもコストが抑えられる LLM を利用した．
具体的な LLM に対する入力として表 1 に示す佐々木

1. 前処理として入力文から不要な記号や絵文字，ストップワードを取り除く．その後，日本語形態素解析システム Juman++を利用して形態素解析を行い N 個の単語列を取得する．

入力プロンプト

あなたは70歳の高齢者で、郊外の一軒家に住んでいます。
あなたは今自宅にいてこれから食事をしようとしています。そのときの会話を再現してください。
会話に登場する人数は合計4人で全員あなたと同居しています。
彼らの社会属性は医療従事者と医療従事者と医療従事者であなたとの関係は社会属性から推測してください。

出力レスポンスデータ

あなた：「今日は何作る？」
医療従事者A：「何でもいいよ。ちょっとスパイスの効いたメキシカン料理とかどう？」
あなた：「いいね、それならタコスとグアカモーレを作ろうかな」
医療従事者B：「それにチリコンカンも合うかも。私が作るよ」
あなた：「それなら私はブラウニーを焼くね」
医療従事者C：「みんなに差し入れしてくれるの？嬉しいな」
あなた：「もちろん、一緒に食べよう！」

図 2: GPT に対するプロンプトとレスポンス．プロンプト中の太字斜体部分はパラメータによって出力された発話内容が人による発話と思う
表 2: LLM に対するプロンプトを制御するパラメータ
パラメータ
入力例

か，そうでないかの 2 つの選択肢を選ぶ．このとき，マクロ行動

表 1 に示す 17 行動

画などを提示し，その行動中に起こり得る発話のこ

人数

1 人，2 人，3 人，4 人とであり，クラウドソーシング等を利用して収集す

話者の年齢社会属性に応じた年齢る．アンケートによって得られた交差集計表を基に居住地区

都市部，郊外，田舎

2 群間の有意差の有無について統計的に検証を行う．

住環境

アパート，一軒家，寮，マンション

社会属性

幼児，児童，学生，会社員，公務員，

人の発話としている選択肢は生活行動を撮影した動(2) 生成した擬似データセットの発話内容が実際に行動を表現できているかを検証する実験を行う．作成し医療従事者，事務員，高齢者

た言語-行動エンコーダで生成された行動のベクトル表現から行動が所属するクラスを可視化し，発話が2. 解析結果として取得した単語列を言語処理モデル行動を表現できているかを定性的に検討する．行動に与える．ここでは入力に発話内容を与え，出力に関する情報が埋め込まれたベクトル表現は 300 次には擬似データ生成の際に入力として与えたパラ元以上の高次元で表現されることが多い．このベクメータを推論する．

4.

トルに対して次元削減を行い 2 次元に落とし込んだ

3. 中間層を取り出すことでベクトル空間に埋め込まものを 2 次元マップに散布図として射影し，行動毎れた発話として行動の分散表現を獲得する．に発話内容がクラス分類できるかどうかを検証する．
クラスタリングは k-means 法等の教師なしアルゴリ

実験概要・計画ズムを用いて行う．

本章では，提案手法の評価に必要な実験について述べる．本研究の手法は LLM を用いて作成した発話の擬似

5.

おわりにデータセットを利用し行動の分散表現を獲得するもので本稿では，生活中行動認識の結果を宅内サービスへ活ある．言語-行動エンコーダの品質は擬似データの品質用することを念頭に，マイクロ行動の分散表現を開発すに影響を受けるため、作成した擬似データセットの品質る手法を提案した．言語処理における分散表現のアイデ検証が必要となる。

アをマイクロ行動のクラス分類へ応用し，日常生活中に(1) LLM で生成された発話内容と人の発話内容にどれだけの差異が生じているのかについて検証する実験を行う．定性的なアンケートを基に人が日常の生活中で発生する会話であるかどうかを検証し，擬似データセットの精度を確かめる．アンケートでは GPT発生する会話を基にマイクロ行動の分散表現を構築することが可能であると考える．
今後の展望として，本研究で構築した言語-行動エンコーダを用いた宅内行動認識手法を開発する．そのために，奈良先端科学技術大学院大学構内にあるスマートホームを利用して人の宅内行動をセンサ群によって認識[6] Yanwei Fu, Yongxin Yang, Tim Hospedales,する生活実験を実施する．発話から行動を認識するため

Tao Xiang, and Shaogang Gong.

Transductive

被験者は行動中に発話により自身の行動の説明などを行multi-label zero-shot learning.
arXiv:1503.07790, 2015.

arXiv preprintう．センサデータと行動の説明を対応づけることで発話を利用してマイクロ行動にアノテーションすることが可能になる．これにより，センサデータのクラス分類の推論が可能となり，その上で推論結果をベクトル表現として解釈することが可能になるため実サービスへの利活用を実現する．

謝辞
本研究は JSPS 特別研究員奨励費 JP22KJ2287 の助成を受けて行った．

参考文献[1] Serkan Balli, Ensar Arif Sağbaş, and Musa Peker.
Human activity recognition from smart watch sen-[7] Mohammad Norouzi, Tomas Mikolov, Samy Bengio, Yoram Singer, Jonathon Shlens, Andrea
Frome, Greg S Corrado, and Jeﬀrey Dean. Zeroshot learning by convex combination of semantic embeddings. arXiv preprint arXiv:1312.5650,2013.
[8] Zeynep Akata,

Scott Reed,

Daniel Walter,

Honglak Lee, and Bernt Schiele. Evaluation ofoutput embeddings for ﬁne-grained image classiﬁcation. In Proceedings of the IEEE conference on
computer vision and pattern recognition, pp. 2927–2936, 2015.

sor data using a hybrid of principal component
analysis and random forest algorithm. Measure-[9] Maxime Bucher, Stéphane Herbin, and Frédéricment and Control, Vol. 52, No. 1-2, pp. 37–45,

Jurie. Improving semantic embedding consistency

2019.

by metric learning for zero-shot classiﬃcation.

[2] Tomokazu Matsui, Kosei Onishi, Shinya Misaki,
Manato Fujimoto, Hirohiko Suwa, and Keiichi Yasumoto. Salon: Simpliﬁed sensing system for activity of daily living in ordinary home. Sensors,
Vol. 20, No. 17, p. 4895, 2020.

In Computer Vision–ECCV 2016: 14th European
Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part V 14, pp. 730–746. Springer, 2016.
[10] Xun Xu, Timothy Hospedales, and Shaogang[3] Nishant Rai, Haofeng Chen, Jingwei Ji, Rishi De-Gong. Semantic embedding space for zero-shot

sai, Kazuki Kozuka, Shun Ishizaka, Ehsan Adeli,action recognition. In 2015 IEEE International

and Juan Carlos Niebles. Home action genome:

Conference on Image Processing (ICIP), pp. 63–

Cooperative compositional action understanding.
In Proceedings of the IEEE/CVF Conference on

67. IEEE, 2015.
[11] Wei Wang, Chunyan Miao, and Shuji Hao. Zero-

Computer Vision and Pattern Recognition, pp.

shot human activity recognition via nonlinear

11184–11193, 2021.

compatibility based method. In Proceedings of the[4] Soumyajit Chatterjee, Avijoy Chakma, Aryya
Gangopadhyay, Nirmalya Roy, Bivas Mitra, andInternational Conference on Web Intelligence, pp.
322–330, 2017.

Sandip Chakraborty. Laso: Exploiting locomotive[12] Hiroki Ohashi, Mohammad Al-Naser, Sheraz

and acoustic signatures over the edge to annotate

Ahmed, Katsuyuki Nakamura, Takuto Sato, andimu data for human activity recognition. In Pro-Andreas Dengel. Attributes importance for zero-ceedings of the 2020 International Conference on

shot pose-classiﬁcation based on wearable sensors.

Multimodal Interaction, pp. 333–342, 2020.

Sensors, Vol. 18, No. 8, p. 2485, 2018.

[5] Ziming Zhang and Venkatesh Saligrama. Zero-shotrecognition via structured prediction. In Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11–14, 2016, Proceedings, Part VII 14, pp. 533–548.
Springer, 2016.

[13] Catherine Tong, Jinchen Ge, and Nicholas D Lane.
Zero-shot learning for imu-based activity recognition using video embeddings. Proceedings of theACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, Vol. 5, No. 4, pp. 1–23, 2021.

[14] Moe Matsuki, Paula Lago, and Sozo Inoue.
Characterizing word embeddings for zero-shot
sensor-based human activity recognition. Sensors,
Vol. 19, No. 22, p. 5043, 2019.
[15] Qingxin Xia, Takuya Maekawa, and Takahiro
Hara. Unsupervised human activity recognition
through two-stage prompting with chatgpt. arXiv
preprint arXiv:2306.02140, 2023.
[16] 佐々木渉, 大西晃正, 三崎慎也, 諏訪博彦, 藤本まなと, 水本旭洋, 荒川豊, 木村亜紀, 三木智子, 安本慶
一. 生活の質の向上を目指した宅内行動・生体情報収集システムと qol アウェア家電制御の検討. 人工知能学会第二種研究会資料, Vol. 2019, No. SAI-034,

p. 01, 2019.
[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee,and Kristina Toutanova. Bert: Pre-training ofdeep bidirectional transformers for language understanding.

arXiv preprint arXiv:1810.04805,2018.
[18] Armand Joulin,

Edouard Grave,

Piotr Bo-janowski, Matthijs Douze, Hérve Jégou, andTomas Mikolov.

Fasttext. zip:ing text classiﬁcation models.
arXiv:1612.03651, 2016.

Compress-arXiv preprint