Vol.2023-MBL-108 No.37
Vol.2023-UBI-79 No.37
Vol.2023-CDS-38 No.37
Vol.2023-ASD-27 No.37
2023/9/26

情報処理学会研究報告
IPSJ SIG Technical Report

3 次元点群を用いたマイクロ行動認識手法の提案
三嶋 祐輝1,a)

松井 智一1

松田 裕貴1,2

諏訪 博彦1,2

安本 慶一1,2

概要：近年，宅内環境のスマート化に伴い，宅内で生活する人の行動認識に関する研究ならびにシステム開発が盛んに行われている．宅内の生活行動を認識することにより，居住者の生活・行動支援への応用が期待できる．従来の行動認識手法として，動画像を使ったものはプライバシーの侵害が懸念され，ウェアラブルさセンサを使ったものは常に身につける必要性がある上，バッテリーの定期的な充電が必要であり，振動センサを使ったものは，認識できない行動があるといった問題があった．また，従来の行動認識
では，料理や入浴といったマクロな行動を対象としており，正確な生活・行動支援への応用には，より詳細な行動であるマイクロ行動（例えば，料理を構成する食材を持つ，切るなど）の認識が必要であると考える．そこで本研究では，これらの問題点を解決する手法として，3 次元点群を用いたマイクロ行動認識手法を提案する．3 次元点群は対象物を 3 次元座標の点の集合で表現したものであり，動画像よりも低プライバシーで高精度な認識が期待される上に，非接触でのセンシングが可能であり，行動の種類に関係ない認識を行うことができると考える．提案手法で解決すべき課題は，対象とするマイクロ行動の定義と 3次元点群からのマイクロ行動の認識である．本研究では一般家庭の料理行動の中に現れる，“切る” や “持つ”，“置く” といった行動をマイクロ行動として定義する．一般家庭に設置した Azure Kinect によって得られる 3 次元点群に，時系列 3 次元点群を入力データとして分類を行うことが可能な機械学習モデルである P4Transformer を適用することでマイクロ行動認識を行う．実験の結果，Leave-One-Session-Out 交差
検証を用いた実験の結果，8 クラスのマイクロ行動を平均 0.743 の精度で分類可能であることが分かった．
キーワード：3 次元点群，マイクロ行動，行動認識，機械学習

1. はじめに口の内 21%を超える超高齢化社会となった．令和 5 年版
高齢者社会白書によると，65 歳以上人口は 3,624 万人とな

近年，宅内環境のスマート化によって宅内で生活する人り，総人口に占める割合は 29.0 ％となっている [3]．これの行動認識に関する研究ならびにシステム開発が盛んに行らを踏まえると，今後の日本の高齢化社会において，高齢われている．宅内の生活行動を認識することにより，居住者の精神的負担の軽減や生活の質を向上させるという観点

者の生活習慣に応じた家電の自動制御 [1] [2] や高齢者の生から，高齢者の生活を補助することは年々重要度が増して活補助といった行動支援への応用が期待できる．家電の自くることが考えられる．ここで居住者の日常生活行動をよ動制御では居住者の行動に応じて，風呂の湯を沸かす，エり正確に認識するためには，料理や掃除，洗濯といったマアコンの電源をオンにする，寝室の電気を消灯するといっクロな行動を構成するより詳細な行動であるマイクロ行動たことが可能になる．これによって，本来であれば居住者を認識することが重要であると考える．

が行わなければならない家電の操作を自ら行う必要がなく行動認識の手法としてカメラから得られる動画像を用いなり，結果として居住者の生活の質向上に加えて，効率的るものがある [4]．この手法では認識のために動画像の情な省エネ家電制御の実現が期待される．高齢者の生活補助報を用いるためプライバシーの侵害が懸念される．また，では，高齢者の宅内行動を認識することで，転倒などの異人物以外の物体によりオクルージョンが発生するという問状な行動を検知し，非常時の迅速な対応が可能となる．総題がある．ウェアラブルデバイスを用いる行動認識手法で務省の調査によると，平成 19 年に 65 歳以上の割合が全人

は，加速度センサを用いるものが主流となっており，足や腕，胸に装着するものが存在する [5] [6]．しかしこれには12a)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
理化学研究所革新知能統合研究センター（AIP）
RIKEN Center for Advanced Intelligence Project (AIP)mishima.yuki.mu6@is.naist.jpⓒ2023 Information Processing Society of Japan

ウェアラブルセンサを常に身に付けなければならない点やバッテリーの定期的な充電が必要であるといった問題があり，持続的な使用が難しいといったデメリットがある．振1

Vol.2023-MBL-108 No.37
Vol.2023-UBI-79 No.37
Vol.2023-CDS-38 No.37
Vol.2023-ASD-27 No.37
2023/9/26

情報処理学会研究報告
IPSJ SIG Technical Report

動センサを利用した行動認識手法も多数提案されており，

2.1 非接触センシングによるマクロ宅内行動認識

Sun ら [7] は，レーザードップラー振動センサを天井のあるCook らが提案した CASAS は，光量センサ，気温セン一点に設置することで，壁や天井の微小な振動の測定を行サ，モーションセンサ，ドアセンサなどから取得したデーい，振動データを学習データとして，機械学習モデルによタを用いて，10 種類のマクロ行動を平均で 0.581 の精度でり解析を行うことによって，“ドライヤーを使う” や “シャ認識することに成功している [10]．

ワーを浴びる” などの，18 種類の行動を認識するシステム

Sasaki らは，家電の利用状況から行動認識を行う手法をを提案している．Bonde ら [8] は，卓上に振動センサを設提案し，“食事” や “洗濯”，“読書” といった 9 種類のマク置し，周囲の構造物の振動から，“歩く” や “タイピング”，ロ行動を平均で 0.675 の精度で認識している [11]．

“話す” などの行動の識別を行なった．振動センサを用いた

Mastui らは，SALON と呼ばれる PIR センサ，気温・湿手法は，カメラなどのビジョンベースの手法に比べて，オ度・騒音などが計測可能な環境センサ，ドアセンサ，環境クルージョンが発生しないという利点がある．一方で，物発電によって駆動するアノテーション用ボタン，データ収体と接触しない行動は原理的に分類することが困難である

集・解析用サーバからなるシステムを提案した．提案シスという問題がある．また，これらの研究はマイクロ行動のテムを用いることで “入浴”，“食事”，“調理”，“睡眠” の認識には至っていない．そこで本研究では，RGB-Depth

4 種類の行動認識において，再現率で 0.723，F 値で 0.407

カメラによってセンシングされる 3 次元点群を用いてプラの精度を達成している [12]．

イバシーに配慮した行動認識を目指す．3 次元点群は，対これらの研究では，宅内における一般的な日常行動の認象物を 3 次元座標の点の集合で表したものである．各点は識を対象としているが，適切な生活補助や家電の自動制御

空間内の位置座標と必要に応じて色や法線ベクトルなどののためには，より詳細な行動であるマイクロ行動の認識が情報を保持することができるため，人物と物体との位置関必要であると考える．

係を 3 次元的に扱うことができる．そのため物体を考慮した処理を行うことで従来の動画像による行動認識の手法に比べて，より精度の高い行動認識が期待される．

2.2 マイクロ行動認識に関する研究
Michibata ら [13] は，CNN を用いて一人称視点での動画本システムは，一般家庭のキッチンに構築する．4 台の情報から調理作業におけるマイクロ行動認識を行なった．

Azure Kinect を用いて 3 次元点群を収集し，従来認識が難

調理作業は “調理器具を取り出す”，“食材を取り出す”，“洗しかった料理行動におけるマイクロ行動認識を行う．マイう” などの行動を対象としている．

クロ行動認識によって，マクロな行動をより詳細な粒度でMizumoto ら [14] は，深度カメラ KinectV2 を用いて，理解することができる．これにより，最終的には一連のマ調理作業中のマイクロ行動認識を行なっている．深度カメ

イクロ行動からマクロな行動を認識することを目指す．

ラより得られる深度データをもとに算出した骨格情報か提案手法では，一般家庭の料理行動の中に現れる “切る”

ら，調理者のキッチンにおける相対位置ならびに胴体と上や “持つ”，“置く” といった 16 種類の詳細な行動をマイク肢の位置関係と角度を特徴量としている．これらの特徴量ロ行動として定義した．また，一般家庭のキッチンに設置をランダムフォレストの学習用データに用いることで，行した RGB-D カメラである Azure Kinect を用いて料理行動認識を行なっている．クロスバリデーションを用いて，動におけるマイクロ行動のデータを収集した．収集した“picking up a seasoning”，“cutting”，“mixing” などの 5データを 3 次元点群に変換し，時系列 3 次元点群を入力

種類の調理作業を 78%の精度で分類可能とした．

データとして分類を行うことが可能な機械学習モデルであマイクロ行動を認識するためには，人とオブジェクトをる P4Transformer [9] に学習させることで，マイクロ行動3 次元的に扱うことができる 3 次元点群の活用が望ましい認識モデルの構築を行なった．と考える．

実験の結果，Leave-One-Session-Out 交差検証によって料理における 8 種類マイクロ行動のいずれの状態であるかを平均 0.743 の精度で分類可能であることを示した．

2. 関連研究2.3 3 次元点群を用いた行動認識
深度カメラや LiDAR センサの小型化，低価格化に伴い，3 次元点群を用いた研究が盛んに行われている．
Liu ら [15] は，時系列 3 次元点群を学習するための新本章では，宅内行動における非接触なマクロ行動認識手

しいニューラルネットワークアーキテクチャである Mete-法およびマイクロ行動認識に関する研究について概観す

orNet を提案した．MeteorNet を用いて行動認識や，セマる．また，3 次元点群を用いた行動認識に関する既存研究

ンティックセグメンテーション，シーンフロー推定など，について述べる．

様々な 3D 認識タスクでベンチマークを行なっている．

Fan ら [9] は，Point 4D Convolution と Transformer から構成される P4Transformer を提案した．P4Transformerⓒ2023 Information Processing Society of Japan2

Vol.2023-MBL-108 No.37
Vol.2023-UBI-79 No.37
Vol.2023-CDS-38 No.37
Vol.2023-ASD-27 No.37
2023/9/26

情報処理学会研究報告
IPSJ SIG Technical Report

表 1: 料理行動におけるマイクロ行動群
マイクロ行動行動内容

マイクロ行動

行動内容

開ける

引き出しや電子レンジ等を開ける動作

切る

包丁で食材を切る動作

閉める

引き出しや電子レンジ等を閉める動作

注ぐ

水や調味料を入れる動作持つ

調理器具や食材等を持つ動作

電源を押す

IH やガスコンロの電源をオンオフする動作

置く

調理器具や食材等を置く動作

混ぜる

鍋やボウル等をかき混ぜる動作

剥く

ピーラーを使って皮を剥く動作

撒く

調味料を食材にかける動作

蛇口を触る

シンクの蛇口を触る動作

潰す

マッシャーを使って食材を潰す動作

洗う

シンクで食器や食材等を洗う動作

入れる

鍋やボウル等に食材や調味料を入れる動作拭く

シンク周りを台拭きで拭く動作掬う

お玉やスプーン等を使って掬い上げる動作

3. 提案システム
本章では，3 次元点群を用いたマイクロ行動認識システ
ムについて述べる．RGB-Depth カメラからセンシングされる人物の 3 次元点群を分析し，マイクロ行動認識を行うことを目的とする．

3.1 提案システムの概要
一般家庭のキッチンに設置した Microsoft 社製の RGB図 1: マイクロ行動データ収集システム構成図

Depth カメラである Azure Kinect を用いて，料理行動におけるマイクロ行動データを収集する．Azure Kinect はキッチンの四隅に配置されており，これによってあらゆるは，時系列 3 次元点群から時空相関を捉えることができる．P4Transformer を用いて，行動認識，シーンフロー推定といった 3D 認識タスクでベンチマークを行った．行
動認識のタスクでは，深度マップシーケンスの公開データセットである MSR Action3D Dataset [16] から 3 次元点群を構築し，時系列 3 次元点群を P4Transformer に学習をさせた．その結果，20 クラスの分類において最大で 90%の認識精度を得ている．また，3 次元行動認識のための膨大なデータセットである NTU RGB+D 60 [17]とその拡張版である NTU RGB+D 120 [18] でも同様なベンチマークを行い，最大で 96.4%の認識精度を得ている．このことから，P4Transformer は時系列 3 次元点群を用いた行動認識タスクにおいて有用であると考えられる．しかし，MSR Action3D Dataset は “jogging”,“tennisserve”,“pickup&throw” といった運動動作を中心とした角度から網羅的にデータ収集を行うことができる．本シス
テムでは，ユーザは料理開始時と終了時にスマートフォンを用いてデータ収集の開始と終了の操作を行うことができる．Azure Kinect と制御用アプリケーションが導入されたPC から構成される本システムを図 1 に示す．
奈良先端科学技術大学院大学の承認（倫理審査番号:2019-I-9-2）を得て，提案システムを，一般から募集した 5 家庭のキッチンに設置し，各家庭 9 料理分の合計 45 回分の料理行動のデータを収集した．
本稿では，収集したデータのうち 1 家庭の 4 料理分のデータを扱う．収集したデータを時系列 3 次元点群に変換し，変換したものを P4Transformer に学習させることで，マイクロ行動認識モデルの構築を行う．学習済みモデルに時系列 3 次元点群を入力することで，マイクロ行動の推定を行う．

データセットとなっている．また，NTU RGB+D 60 とNTU RGB+D 120 は，“drink water”,“eat meal”,“brushteeth” といった様々な日常行動に関するものから構成されている．しかし，データ収集の環境が実際に人が生活しているような宅内環境ではないことに加えて，マイクロ行動に対する行動認識は行われていない．
そこで本研究では，Fan らの提案した P4Transformer を用いて，時系列 3 次元点群データからマイクロ行動の認識を行う．

3.2 マイクロ行動の定義
本研究におけるマイクロ行動は，料理や食事，洗濯といったマクロ行動の中に現れる詳細な行動とする．本稿ではマクロ行動の中でも料理行動におけるマイクロ行動の認識を行う．実際の一般家庭の料理行動において目視で確認された単一の動作からなるマイクロ行動を対象とする．より具体的には，料理行動中に現れる “切る” や “持つ”，“置く” といった行動をマイクロ行動として定義した．定義したマイクロ行動と各行動の内容を表 1 に示す．

ⓒ2023 Information Processing Society of Japan3

Vol.2023-MBL-108 No.37
Vol.2023-UBI-79 No.37
Vol.2023-CDS-38 No.37
Vol.2023-ASD-27 No.37
2023/9/26

情報処理学会研究報告
IPSJ SIG Technical Report

図 3: マイクロ行動の分布

図 2: マイクロ行動の継続時間の分布

P4Transformer

3.3 マイクロ行動認識モデルの構築
Azure Kinect は RGB に加えてカメラからの距離情報を15fps で記録しているため，1/15 秒ごとにカラーマップと時系列3次元点群
𝑡!

𝑡"

𝑡#

𝑡$𝑡%

深度マップが生成される．深度マップから人物の 3 次元点

Point 4D Convolution

Transformer群に変換する流れを以下に示す．

( 1 ) 深度マップを Python のオープンソースライブラリで分類結果MLPある Open3D [19] を用いて 3 次元点群に変換する．
図 4: P4Transformer のアーキテクチャ図( 2 ) Point Cloud Library (PCL) [20] に実装されている
Octree Point Cloud Change Detector を用いて，深度マップ変換後の 3 次元点群を背景データと前景データに分割する．

( 3 ) 前景データは背景データに存在しない人物とオブジェクトの 3 次元点群から構成されているため，密度ベースし，合計 4 セッション（1 回の料理行動が 1 セッションに対応）のデータを作成した．セッション全体を通して現れるマイクロ行動の長さの分布を図 2 に示す．1 回のマイク
ロ行動の長さは最小で 5 フレーム，最大で 710 フレームであった．のクラスタリングアルゴリズムである DBSCAN [21]を用いて 3 次元点群のクラスタリングを行う．

( 4 ) (3) で算出されたクラスターのうち，最も点群の数の多いものを人物の 3 次元点群として抽出する．

4.2 分析手法
マイクロ行動認識モデル学習の前処理として，記録されたデータが “切る” や “持つ” など，どのマイクロ行動を行なっているかをラベリングした．本データは 15fps で記

データは Azure Kinect によって逐次的に収集されること録しているため 1/15 秒ごとにカラーマップと深度マップから，人物の行動は時系列 3 次元点群として表現される．

が生成される．そこで，カラーマップをもとに目視で表 1

この時系列 3 次元点群を P4Transformer の学習データににあるマイクロ行動のいずれに該当するかをラベリング用いることで，マイクロ行動認識のモデル構築を行う．

した．4 セッションにおけるラベル数の合計は 1322 個で4. マイクロ行動認識に関する実験
4.1 実験概要あった．しかし，4 セッションのうち料理の種類によっては存在しないマイクロ行動がある．例えばカレーを作る際には，じゃがいもを “切る” やカレー鍋をお玉で “混ぜる”

Azure Kinect によってセンシングされる人物の時系列 3といったマイクロ行動が現れるが，何かしらの食材を “潰次元点群を学習データとし，P4Transformer を用いて行動す” といったマイクロ行動は現れない．そのため，本実験の分類および評価を行う．図 1 に示されている 4 台のカメ

では 4 セッションに共通して存在するマイクロ行動を抽出

ラの中でも，今回はシンクの左側に設置されている 1 台かすることで，対象行動を抽出することとした．抽出後のマら得られるデータを用いた．

イクロ行動は 8 クラスであった．

本実験では，表 1 にある料理行動に関するマイクロ行動

データサンプルの分布を図 3 に示す．全データサンプル群を対象とする．被験者 1 名による 4 回の料理行動のそれ数は 967 点である．最も少ないデータサンプル数は “閉めぞれについて 4 台の Azure Kinect によって 15 fps で記録る” で 19 点であり，最も多いデータサンプル数は “切る”

ⓒ2023 Information Processing Society of Japan4

Vol.2023-MBL-108 No.37
Vol.2023-UBI-79 No.37
Vol.2023-CDS-38 No.37
Vol.2023-ASD-27 No.37
2023/9/26

情報処理学会研究報告
IPSJ SIG Technical Report

表 2: Leave-One-Session-Out 交差検証によるマイクロ行動ごとの F 値
セッション

入れる

開ける

閉める持つ

置く

蛇口を触る

洗う

切る

1

0.750

0.813

0.429

0.304

0.510

1.0

1.0

0.995

2

0.537

0.828

0.400

0.267

0.370

0.904

0.732

0.969

30.460

0.588

0.286

0.391

0.195

0.952

0.931

0.688

4

0.667

0.857

0.0

0.222

0.0

0.878

0.857

0.980

平均

0.604

0.772

0.279

0.296

0.269

0.934

0.88

0.908

表 3: 各セッションにおける Accuracy と F 値データのサンプル数が少ないことから，正しく学習が行われていないことが考えられる．

セッション

Accuracy

F値

10.841

0.725“持つ” に関しては，オブジェクトの大きさや形状によっ20.7020.626て動作の内容が異なることが原因であると考えられる．玉30.567

0.562

ねぎを “持つ” とフライパンを “持つ” は，本稿では同じマ

40.8630.558

イクロ行動のラベルが割り当てられているが実際の動作の平均

0.743

0.601

内容としては異なる．

“置く” に関しては，図 5c の混同行列より大半が “入れで 285 点である．

る”，“切る” に分類されている．これは，学習データのサ

1 台の Azure Kinect からの視点におけるマイクロ行動のンプル数が少ないことに加えて，セッション 3 では被験者ラベルが付与された時系列 3 次元点群を P4Transformer にが右手で包丁を持った状態でニンニクの皮を剥き，まな板学習させ，マイクロ行動の分類を行った．P4Transformerの上に “置く” といったマイクロ行動が多く行われていたのアーキテクチャ構造を図 4 に示す．P4Transformer は，ことが原因であると考えられる．

Point 4D Convolution と Transformer から構成されるモデ

これらのことを踏まえると提案システムにオブジェクトルである．Point 4D Convolution では，入力された時系列認識を組み込むことで，より認識精度の改善が見込めると3 次元点群を時空間ごとに特徴ベクトルにエンコードする

考える．マイクロ行動は対象とするオブジェクトの大きさことで，局所特徴量を得る．局所特徴量を Transformer にや形状によってその動作内容が異なる場合があり，その際入力し，複数フレーム間を考慮した大域特徴量へ変換する．にはオブジェクトを考慮したマイクロ行動のラベリングがMLP に大域特徴量を入力して，クラス分類を行う．学習時適切であると考える．のハイパーパラメータは，入力時のフレーム数をオーバー

5. まとめラップのない 4 フレームとし，それ以外は Fan らの MSR

Action3D Dataset を用いたクラス分類に関する実験 [9] と同じにした．

本稿では，一般家庭の料理行動におけるマイクロ行動を定義し，Azure Kinect によってセンシングされる時系列 3次元点群を用いたマイクロ行動認識手法を提案した．一般

4.3 実験結果および考察

家庭のキッチンで取得した料理行動の時系列 3 次元点群を各マイクロ行動データに対して，Leave-One-Session-Out

P4Transformer に学習させることで，マイクロ行動の分類交差検証を行い，マイクロ行動の分類精度を確認した．こを行った結果，8 種類のマイクロ行動を平均で 0.743 の精の手法では，1 料理を 1 セッションとし，1 つのセッション度で分類可能であることを示した．

を精度検証用のテストデータ，それ以外を学習データとす

今回は１台の RGB-D カメラから取得されたデータを用る．これを全てのセッションがテストとなるように繰り返いてマイクロ行動を認識したが，今後は複数台のカメラかし，その平均精度を求めた．各セッションにおける混同行ら得られたデータを用いてアンサンブル学習を行うこと

列を図 5 に，マイクロ行動ごとの分類精度 F 値を表 2 に示

で，遮蔽物によるオクルージョンにロバストなマイクロ行す．また，表 3 に各セッションにおける Accuracy と F 値

動認識モデルの構築を行う．その上で，複数台のカメラののマクロ平均を示す．表 3 にある通り，平均で 0.743 の精データを用いる時とそうでない時との分類精度を比較する

度で 8 クラスのマイクロ行動の分類を行うことができた．

ことで，コスト面の評価も行う．さらに，人物のみではな

表 2 では，“蛇口に触る” や “洗う”，“切る” といったマくオブジェクトの 3 次元点群を扱うことで，人のオブジェ

イクロ行動の分類精度は 90% 近くの精度となっており，高クトに対するインタラクションを考慮したより高精度な行精度に分類されていることがわかる．しかし，“閉める” や動認識を目指す．

“持つ”，“置く” といったマイクロ行動の分類精度は 30%

また，被験者とセッション数を増やすことで，データを下回っている．“閉める” に関しては，図 2 にある通りセットの汎用性を高めると同時に，Leave-One-Person-Outⓒ2023 Information Processing Society of Japan5

Vol.2023-MBL-108 No.37
Vol.2023-UBI-79 No.37
Vol.2023-CDS-38 No.37
Vol.2023-ASD-27 No.37
2023/9/26

情報処理学会研究報告
IPSJ SIG Technical Report(a) セッション 1(b) セッション 2(c) セッション 3(d) セッション 4

図 5: Leave-One-Session-Out 交差検証の結果に対する混同行列交差検証を行う．これにより，環境や人に依存しない汎用参考文献的なマイクロ行動の認識が可能になると考えている．

[1]

謝辞
本研究の成果は NICT 課題 222C03「ウイルス等感染症[2]対策に資する情報通信技術の研究開発」の支援によるものです．
[3]ⓒ2023 Information Processing Society of Japan

John Krumm Brian Meyers Michael Hazas
Stephen Hodges James Scott, A.J. Bernheim Brushand Nicolas Villar. Controlling Home Heating Using
Occupancy Prediction. Proc. UbiComp 2011 (2011).
David Irwin Prashant Shenoy Sean Barker,
Aditya Mishra and Jeannie Albrecht.
SmartCap:
Flattening peak electricity demand in smart homes.
Proc. Percom 2012. pp.67-75.
総 務 省.
令 和 5 年 版 高 齢 社 会 白 書.
https://www8.cao.go.jp/kourei/whitepaper/w-2023/
zenbun/05pdf_index.html, 2023.

6

Vol.2023-MBL-108 No.37
Vol.2023-UBI-79 No.37
Vol.2023-CDS-38 No.37
Vol.2023-ASD-27 No.37
2023/9/26

情報処理学会研究報告IPSJ SIG Technical Report

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

Oscal T.-C. Chen, Ching-Han Tsai, Hung Ha Manh, andWei-Chih Lai. Activity recognition using a panoramic
camera for homecare. 2017 14th IEEE International
Conference on Advanced Video and Signal Based Surveillance (AVSS), 2017. 1-6.
Ferhat Attal, Samer Mohammed, Mariam Dedabrishvili,
Faicel Chamroukhi, Latifa Oukhellou, and Yacine Amirat. Physical human activity recognition using wearablesensors. Sensors, Vol. 15, No. 12, pp. 31314–31338, 2015.
Serkan Balli, Ensar Arif Sağbaş, and Musa Peker. Human activity recognition from smart watch sensor datausing a hybrid of principal component analysis andrandom forest algorithm. Measurement and Control,Vol. 52, No. 1-2, pp. 37–45, 2019.
Wei Sun, Tuochao Chen, Jiayi Zheng, Zhenyu Lei, LucyWang, Benjamin Steeper, Peng He, Matthew Dressa,
Feng Tian, and Cheng Zhang. VibroSense: Recognizing
Home Activities by Deep Learning Subtle Vibrations on
an Interior Surface of a House from a Single Point Using Laser Doppler Vibrometry, Vol. No.21. September
2020.
Amelie Bonde, Shijia Pan, Mostafa Mirshekari, CarlosRuiz, Hae Young Noh, and Pei Zhang. OAC: Overlapping Oﬃce Activity Classiﬁcation through IoT-Sensed
Structural Vibration. 2020 IEEE/ACM Fifth International Conference on Internet-of-Things Design and Implementation (IoTDI), 2020. pp.216-222.
Hehe Fan, Yi Yang, and Mohan Kankanhalli. Point
4D Transformer Networks for Spatio-Temporal Modeling in Point Cloud Videos. In IEEE/CVF Conference
on Computer Vision and Pattern Recognition, CVPR,
2021.
Diane J. Cook, Aaron S. Crandall, Brian L. Thomas, andNarayanan C. Krishnan. CASAS: A Smart Home in aBox. Computer, Vol. 46, No. 7, pp. 62–69, 2013.
Wataru Sasaki, Masashi Fujiwara, Hirohiko Suwa, Manato Fujimoto, Yutaka Arakawa, Aki Kimura, TomokoMiki, and Keiichi Yasumoto. Daily Living Activity
Recognition through Time Series Analysis of Data Obtained with ECHONET Lite Appliances and Motion Sensors. JSAI Technical Report, Type 2 SIG, Vol. 2018, No.
SAI-031, p. 05, 03 2018.
Tomokazu Matsui, Kosei Onishi, Shinya Misaki, ManatoFujimoto, Hirohiko Suwa, and Keiichi Yasumoto. SALON: Simpliﬁed Sensing System for Activity of Daily
Living in Ordinary Home. Sensors, Vol. 20, No. 17, 2020.
Shinya Michibata, Katsufumi Inoue, Michifumi Yoshioka, and Atsushi Hashimoto. Cooking Activity Recognition in Egocentric Videos with a Hand Mask Image
Branch in the Multi-Stream CNN. CEA ’20. Associationfor Computing Machinery, 2020. pp.1–6.
Teruhiro Mizumoto, Alberto Fornaser, Hirohiko Suwa,
Keiichi Yasumoto, and Mariolino De Cecco. KinectBased Micro-Behavior Sensing System for Learning theSmart Assistance with Human Subjects Inside TheirHomes. 2018 Workshop on Metrology for Industry 4.0and IoT, 2018. pp.1-6.
Xingyu Liu, Mengyuan Yan, and Jeannette Bohg. MeteorNet: Deep Learning on Dynamic 3D Point Cloud Sequences. IEEE/CVF International Conference on Computer Vision (ICCV), 2019. 9245-9254.
Zhengyou Zhang Wanqing Li and Zicheng Liu. Action
recognitin based on a bag of 3d points. In CVPR Wrkshops, 2010.
Amir Shahroudy, Jun Liu, Tian-Tsong Ng, and Gangⓒ2023 Information Processing Society of Japan

[18]

[19]
[20]

[21]

Wang. NTU RGB+D: A Large Scale Dataset for 3D
Human Activity Analysis, 2016.
Jun Liu, Amir Shahroudy, Mauricio Perez, Gang Wang,Ling-Yu Duan, and Alex C. Kot. NTU RGB+D 120: A
Large-Scale Benchmark for 3D Human Activity Understanding. IEEE Transactions on Pattern Analysis andMachine Intelligence, Vol. 42, No. 10, pp. 2684–2701,
2020.
Qian-Yi Zhou, Jaesik Park, and Vladlen Koltun.
Open3d: A modern library for 3d data processing, 2018.
Radu Bogdan Rusu and Steve Cousins. 3D is here: Point
Cloud Library (PCL). In 2011 IEEE International Conference on Robotics and Automation, pp. 1–4, 2011.
Martin Ester, Hans-Peter Kriegel, Jörg Sander, and Xiaowei Xu. A density-based algorithm for discovering clusters in large spatial databases with noise. In Proceedingsof the Second International Conference on Knowledge
Discovery and Data Mining, KDD’96, p. 226–231. AAAIPress, 1996.

7