情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

イスの揺れからの人物と活動の識別望月康平 †1
山梨大学

細川健人 †2
山梨大学

1. はじめに人間の行動をセンシングすることでデータ化するときに，

豊浦正広 †3
山梨大学

スに取り付けた 9 軸センサの信号から，人物と活動の両方を推定する手法を提案する．

得られたデータを人間が理解できる形に解釈することに

2. イスに座る人物を撮影し，同時にセンサの信号を収録

よって，人間の活動を支援する材料に昇華することができすることによって，センサ信号と人物および活動が紐るケースがある．IoT センサの性能の進化とコモディティ

づけられたデータセットを構築する．

化によって，多種多様なセンサを利用できるようになって

3. 着席中の信号によって活動を認識するのとは別に，離きたものの，人間の行動への解釈の側面においては，まだ不着席時の信号によって人物の認識を高い精度で行える十分な点も多い．

ことを示す．

我々は，人間の活動の手がかりになる振動を観測できる

以下，2. では関連研究を紹介する．3. では着席中に観測イスに着目する．人間の活動の推定はカメラ映像の解析にされる 9 軸センサの信号からからイスに座った人の活動認

よって活発に行われているものの，カメラ映像にはプライバ識する手法を提案する．4. ではさらに，離着時の大きな信シに関わる余計な情報まで取得してしまう問題がある．こ号に着目することで，人物を高い精度で認識する手法を提の点において，人間が触れたときにだけ人間の活動を観測案し，実験結果と考察を加え，5. で本研究をまとめる．

できるイスは有望である．EU で 2024 年の施行が計画されている AI 規制法案では，監視カメラの利用を制約する条項を含み，公権力によるむやみなカメラ映像の取得が制限さ

2. 関連研究れる．日本でも，個人情報保護法の規制によって，監視カメ

Mizumoto ら [1] は，8 つの加速度センサを内蔵したイスラの映像を無加工で保存したり転送したりすることは，問の設計を行うことで，業務を妨げることなく人物の姿勢を題になることがある．これらは，そもそも人間が撮影され認識する手法を提案した．この手法により，座っている人

ることに忌避感を覚えることが発端であり，可能であるなの姿勢の検出と共に，在席時間や場所から着席時の姿勢のらばこの状況は避けるべきである．この点において，振動改善に活用できる．しかし，コストの面から必要なセンサ

センサの信号に対しては，現在のところ規制する法律はなの数はより少ないことが望ましい．比較的安価なセンサをく，また，人間が感じる忌避感も映像に比べると小さい．さ使用した研究として，Yoo ら [2] らによる，近接センサをらに，イスに取り付けた振動センサであれば，人間が触れて使用した研究がある．近接センサは感応式のセンサであり，いないときにはデータが発生せず，余計な情報を取得しな

スマートフォンやパソコンといったタッチパネルに利用さくて済む利点がある．

れる．Yoo らは，背もたれに取り付けられた近接センサか

本研究では，イスに取り付けた 9 軸センサから得られる

ら座姿勢を推定し，ヘッドレストに取り付けられたスピー信号により，活動に加えて人物も識別することを目指す．人

カーから警告を出すイスを提案した．提案手法は，通常の物の識別では，特定の個人であることを識別するものでは

イスと比較して，視覚ディスプレイによる作業中の人物のなく，別のデータと同一の人物から発生したものであるこ

姿勢を改善する効果があることが示された．また，Sztylerとを識別するものとし，データ間や活動間の紐づけを行う

ら [3] は，加速度計，ジャイロ，および地磁気のセンサデー

ために利用できる．

タを使用し，ウェアラブルデバイスから位置情報を含む人

本研究の貢献は以下の通りである．

1. Transformer を含む深層学習ネットワークによって，イの行動を認識する新しいモデルを提案した．センサによる行動認識は高い精度で可能であることが示され，特に腰部に取り付けた場合に高い効果が得られるという結果が示された．

User and Action Identiﬁcation from Chair Viblation
†1
†2
†3

Kouhei MOCHIZUKI, University of Yamanashi
Taketo HOSOKAWA, University of Yamanashi
Masahiro TOYOURA, University of Yamanashi

深層学習を人物の行動認識に利用した研究に，Chen ら [4]や Wang ら [5] の研究がある．Chen ら [4] は，単一の加速度センサから行動を表す特徴を抽出し，ニューラルネットワー

1情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

クを訓練することで行動の分類を行った．実験から，従来手されたフレームをつなぎ合わせることで，一連の行動とし法に比べて高い精度で人物の行動の認識が可能となったこて認識を行った．人物の行動を自動的に認識する Bremondとが示された．Wang ら [5] は，ウェアラブルセンサから得らの手法は，自動運転の安全性の向上などに利用されていられたデータを使用して，深層学習モデルである LSTM をる．しかし，カメラ映像を使う場合には，プライバシ保護の訓練させることで行動識別を行った．HAR データセットを問題が起こる．

使用した実験では，高い精度での行動の識別が可能である

以上から，本研究では，単一のセンサをイスに取り付けてことが示された．Chen らや Wang らの研究成果により，ス

使用することで，簡易で安価な，プライバシに配慮した人物

マートフォンやウェアラブルデバイス等のモバイルデバイと活動の識別を目指す．

スへ拡張の幅が広がった．画像処理の分野で Hu ら [6] は，航空写真のマルチスペクトル画像から空間的な特徴を抽出するために，Convolutional Neural Network(ConvNet) とLSTM を結合したモデルである ConvLSTM を提案し，より高度な土地利用状況の認識を可能とした．

Shinmoto ら [7] は，対象者の腹部に大きな RFID タグを

3. 着席中の信号からの人物と活動の識別3.1. 識別ネットワーク
Transformer は，Vaswani ら [13] によって発表された自然言語処理や時系列に有効とされるモデルである．時系列

貼り付けることで，バッテリーを装着することなく，室内の信号であるセンサデータを効率的に扱うため，本研究では対象者の行動を認識する装置を提案した．壁に配置した複Transformer を採用した．Transformer は意味抽出を行う

数の RFID リーダによって，各時刻での RFID の位置と姿

Encoder 部と，抽出した意味から新たな出力へと変換する

勢を推定することができるようになった．室内にいさえす

Decoder 部から構成される．特に Encoder 部の中で，複数れば位置や姿勢がおおまかにわかることは望ましい性質での異なる Attention 機構を用いて入力データの前後関係のはあるが，腹部に取り付けた RFID の物理的な大きさは無情報を取り出す Multi-Head Attention 機構が，意味抽出に視することができず，利用できない場合も考えられる．イ

おいて大きな役割を果たしている．そこで本研究では，時スに取り付ける装置では，対象者にバッテリーの管理をさ

系列の前後関係を抽出するために Multi-Head Attention 機せる必要はなくなり，明るい室内であればソーラーバッテ

構を含む Transformer の Encoder 部を使用した．Encoder

リなどでも駆動することが可能である．

部を含むネットワーク全体は，図 1 のように構成される．入Ishac ら [8] は，イスに取り付けた 9 つの圧力センサに

力は 3 軸加速度・3 軸角速度・3 軸地磁気の 9 次元の時系列

よって，座っている人の前傾や後傾などの姿勢を推定し，健である．図 1 の右図は Transformer の Encoder 部の詳細で

康に悪い姿勢であった場合に警告を出すシステムを提案しある．Multi-Head Attention と Feed-Forward 層に，それた．人によっては背もたれから離れて座ることもあり，そのぞれ残差接続と正規化処理が行われる．Encoder 部は，多場合には正しく姿勢が推定できなかった．本研究では IMU

層パーセプトロン，Dense 層へと接続される．本モデルは，センサを用いるために，イスのどこかに体が接していなけ

人物と活動を同時に学習するマルチタスク学習を行った．

ればいけないといったような制約を置く必要はなくなる．

そのため，出力は，人物と活動それぞれの Softmax 関数かEnokibori ら [9] は，胴体の姿勢を推定するために導電性ら得られる識別クラスの尤度である．

繊維を織り込んだベストを作り，電気容量の変化によって姿勢を推定した．姿勢の変化によっては活動の推定をすることもできるものの，ベストを常に身に着けるのは活動の記録に対する費用対効果が小さい．

3.2. 着席中の行動のセンシング
着席中のイスのセンシングによる人物と活動の識別を行った．まず，イスを利用したデータ収集のために，着席

スマートフォンに内蔵されたセンサを用いて活動を認識して複数の活動を行ってもらう実験を行った．実験の様子する手法は多く提案されている [10]．スマートフォンを持を図 2 に示す．イスの座面裏に 3 軸加速度・3 軸角速度・3つ位置に頑健に活動を推定する方法は提案されているもの

軸地磁気を計測する 9 軸 IMU センサを設置した．イスの座の，スマートフォンを常に身に着ける必要はあり，介護対

面裏に取り付けることで，活動の妨げにならず，センサの存

象者や就学児などには適用が難しい．イスに取り付けたセ

在を意識せずに使用することができる．センサの方向関係

ンサであれば，イスに座ったときの信号を取り逃すことはは，X 軸が正面方向，Y 軸が左右方向，Z 軸が上下方向としない．

た．本実験では，9 軸 IMU センサに ATR-Promotions 製のまた，人物や行動を識別する手法として，映像を使用す

TSND121 を使用した．同製品は，サンプリング周波数がる手法も活発に提案されている [11][12]．Bremond ら [11]50Hz であり，専用のソフトウェアである SensorController

は，カメラ映像を使用した人物の行動認識として，映像のを介して信号を取得する．また，9 軸センサと合わせてウェ

各フレームを静止画像として特徴抽出を行い，その後分類

2

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

図3

Figure 3

実験 1: 1 セット分の信号例

An example of Signal in Experiment 1
表1

Table 1

実験 1: 実験手順

Overview of Experiment 1

経過時間
図1

Transformer を含む識別ネットワーク

Figure 1

Proposed identiﬁcation network including

Transformer

図2

Figure 2

実験 1: 活動計測実験の様子

Experiment 1: Activity Measurement

ブカメラによる撮影を行った．録画映像は，DNN の訓練時の正解データの作成に使用した．

活動

0:00

計測開始

0:10

座る

0:20

PC 作業開始

1:20

PC 作業終了

1:30

立つ

1:40

座る

1:50

書き作業開始

2:50

書き作業終了

3:00

立つ

3:20

座る

3:30

計測終了

3.4. 実験結果
訓練したネットワークによって，22 人の人物を 0.1565，3

3.3. データセット作成

種類の活動を 0.8142 の正解率で識別することができた．時

男性 14 人，女性 8 人を対象とした実験を行った．実験協系列に有効とされる Transformer を深層学習ネットワーク

力者には，3.2 の実験環境下で，表 1 のスケジュールで決による識別は，着席中の信号による数種類の活動に対してまった手順で活動を行ってもらった．活動は，座る・立つと有効であると示された．一方で，識別するクラス数の多いいった着席前後の 2 種類の活動，および，PC 作業・ボール

人物の識別は困難であるという結果となった．これは，着ペンによる書き作業・静止といった着席時の 3 種類の活動

席中のパワーの小さい信号では，人物のような多クラスのの全 5 種類である．計測は，各人ごと 4 セット行い，各セッ

識別の場合，クラスごとの特徴がデータの差として現れづトを学習・検証・テスト用に分割して使用した．また，録画らいことが原因であると推察される．

映像から人物と活動のタグ付けを行った．図 3 は，9 軸センサから得られた 1 セット分のイスの回転方向の角速度の例である．座る・立つといった離着席動作と比較して，PC
作業・静止・書き作業はパワーが小さいことが見て取れる．
本研究では，着席中の活動に対して識別を行うため，PC 作
業・書き作業・静止の 3 種類の活動の信号のみを使用した．
映像によるタグ付け後，3.1 の Transformer を含むネット
ワークを訓練させ，人物と活動の識別を行った．

4. 離着席動作による人物識別
着席中の信号を用いた人物識別の正解率の低いことを受けて，手法の改善を行った．3.3 で取得したデータから，着席中のパワーの小さな信号より，立つ・座るといった，離着席時の大きな信号の方が人物の特徴が表れているのではな
いかと考えた．そこで，着席中の活動の小さな信号ではな
く，イスを離着席する動作の大きな信号に注目して識別を3

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）(a) 実験協力者 A: 1 回目
図4

Figure 4(b) 実験協力者 A: 2 回目(c) 実験協力者 B: 1 回目

実験協力者の離着席時の計測データの観察 (イスの回転方向の角速度)

Observed sensor data of participants from chairs (Angular velocity in the direction of chair rotation).

行った．

4.1. データ分析
3.3 で使用したデータを分析することで，離着席動作が人物識別に有効であるか検証した．図 4(a)，(b) から，実験協
力者 A では 2 回の計測で着席時には大きな信号が見られ，離席時は比較的小さな信号が共通して見て取れる．また，図4(c) と比較して，実験協力者 B では離着席時に正負の片方に対して大きな信号が見られる．また，信号の大きさについても，実験協力者 A は離着席動作で差が見られるが，Bは離着席共に平均 ±100[rad/s] 程度であるという違いも見

図5

Figure 5

実験 2: 離着席動作

Experiment2: Seating and leaving actions

られる．この違いは，離着席時にイスをどの程度回転するかという，使用者ごとの特徴に起因すると考えられる．着

離席時は正の方向に大きな信号が得られていることがわか

席中の信号と比較して，離着席動作には，このような人物ごる．この様な信号に対して，前処理として，まず欠損値の除との特徴が現れやすいことから，離着席動作による人物識去を行った．また，センサから得られる信号には，少なか別は可能であると判断した．

らずノイズが含まれる．そこで，ノイズによる影響を低減するために，バターワースフィルタによる平滑化を行った．

4.2. 離着席動作のセンシング
離着席動作におけるイスのセンシングによる人物とイスの識別を行った．まず，データ収集のために，複数種類のイ
スで離着席動作を行ってもらう実験を行った．実験の様子
を図 5 に示す．本実験では，9 軸 IMU センサ WitMotion

WT901SDCL を使用した．WT901SDCL は，200Hz までの 3 軸加速度・3 軸角速度・3 軸地磁気を計測することができる．本実験では，信号の周波数はデバイスの上限である

200Hz とした．同製品は，SD カードを挿入することで計

また，加速度・角速度・地磁気はそれぞれ取り得るデータの範囲が異なるので，データの標準化を行った．その後，離着席動作を行う部分に対して人物とイスのタグ付けを行った．
タグ付けは，9 軸の信号の内，イスの上下方向である加速度

Z 軸と，回転方向である角速度 Z 軸に特徴が含まれていると考え，その 2 つの二乗和が閾値を超えたときにイスを使用しているとして判定した．

4.4. 計測実験

測を開始し，SD カードを取り出すことで計測を終了する．

男性 22 人，女性 2 人を対象とした実験を行った．実験協計測した信号は，SD カードにバイナリデータとして記録さ力者には，静止したイスに着席し，数秒静止した後，イスかれ，WitMotion の設定を行うソフトウェア (MiniIMU) 等

ら離席するという動作を 20 回行ってもらった．実験協力者

により，各時刻ごとの 9 軸の信号を確認することができる．

には，着席時にイスの正面の机で作業を行う想定で座るこセンサは，3.2 と同様に，イスの座面裏に取り付けた．

とと，離席時にイスの向きを正面に戻すことの 2 点を指示した．実験協力者には，規定回数の離着席動作後に終了で

4.3. 前処理
図 6 は，1 回の離着席動作を行ったイスの上下方向の加速度の信号例である．最初の着席時は負の方向に，その後のあることを伝えた．また，実験の疲れによるデータへの影
響を無くすため，各イスが終了するごとに休憩時間を設けた．計測した 20 回分のデータは，4.3 で述べた前処理を行

4

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

区間を 512 とすると，前後 512 個の 20 人分の尤度から，各人物ごとの尤度の平均を求め，区間内における尤度の平均が最も高いクラスを，その区間内全てのデータにおける識別結果とした．

4.6. 実験結果取得した 24 人，3 種類のイス，20 回分のデータを，3.1 で述べた Transformer を含むネットワークで訓練させた．また，マルチタスク学習により，人物とイスの同時識別を行い，4.5 の処理により最終的な出力を得た．訓練したネット
ワークによって，24 人を 0.9768，3 種類のイスを 0.9702 の図6

Figure 6

1 回分の離着席動作の信号

Signal of a pair of seating and leaving actions

正解率で識別することができた．結果から，3.4 の考察の通り，着席中のパワーの小さな信号と比較して，離着席動作のパワーの大きな信号には，人物ごとの特徴が多く現れ，大人数の識別に対して有効であることが示された．また，イス

1・3 から，同じ製品のイスの識別も可能となった．

5. 結論
イスを利用する人物と活動を同時に識別することを目指した．まず，着席中の活動の信号により，人物と活動の図7

Figure 7

実験 2 で使用した 3 種類のイス

Three chairs used in Experiment 2

識別を行った．識別には，時系列に有効なモデルである

Transformer を採用した．実験では，22 人の 3 種類の活動に対し，22 人の人物を 0.1585，3 種類の活動を 0.8142 の正解率で識別できた．さらに，人物の正解率が低いことをい，図 6 の様に 1 回分ごとに分割して使用した．

受けて，手法を改善した．着席中の小さな信号からは人物

図 7 は実験に使用した 3 種類のイスである．イス 1 と 2の識別は難しいと考え，離着席動作の大きな信号から人物は異なる商品だが，イス 1 と 3 は同じ商品である．1 と 3 での識別を行った．実験では，24 人の 3 種類のイスを 20 回

同じ商品を使った理由は，同じ商品でも，スプリングやキャ離着席したデータを，Transformer を含むネットワークでスターの動かしやすさ等の違いから識別できると考えたか訓練させた．結果，24 人の人物を 0.9768，3 種類の活動をらである．また，システムを導入することを想定した時，教0.9796 の正解率で識別できた．

室や会社では同じイスを大量に使用することが考えられる
ため，今回イス 1 と 3 は同じ商品を使用した．

以上から，離着席動作と着席中の信号で 2 段階の識別を行うことで，イスを利用する人物と活動を同時に識別することが可能となった．

4.5. 区間内投票による識別今後の課題として，活動やイスの種類を増やした場合の本実験では，時系列を扱うことから，3.1 で述べた Trans-

正解率への影響を調べることを挙げる．イスの種類についformer を含むネットワークを使用した．出力は，人物とイては，3 種類でしか検証を行っておらず，提案手法がどのスのマルチタスク学習により，各クラスの Softmax 関数のような種類のイスに対しても有効であるかは確かめられて出力が得られる．また，新たに，各クラスの出力から，指定いない．特に，ガスチェア以外の回転しないイスに対して，した区間内における投票を行った．出力では，各時刻ごと

どれほど提案手法が有効に働くかについては，興味がある．

のクラスの識別結果の尤度が得られるが，本研究では，時また，活動の種類についても，3 種類のみを識別するにとど系列データでは前後関係が重要であることから，指定したまっている．これまでのデータの観測からは，静止時と会区間内で各クラスの尤度の平均を取り，区間内で最も尤度話時にはほとんど信号に差がないことが確かめられており，が高いクラスを最終的な出力として採用した．例えば，20

活動によっては識別が難しいものがあると考えている．実人の人物識別の場合，9 次元のデータの入力に対し，出力は際の利用で必要とされる活動の種類を踏まえながら，識別データごとの 20 人の Softmax 関数による尤度が得られる．

ネットワークの精度を高め，手法の限界を検証したい．

5

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

謝辞
本研究は JST さきがけ JPMJPR213 の支援を受けた．

参考文献[1] Mizumoto, T., Otoda, Y., Nakajima, C., Kohana, M.,
Uenishi, M., Yasumoto, K. and Arakawa, Y.: Design andimplementation of sensor-embedded chair for continuous
sitting posture recognition, IEICE Transactions on Information and Systems, Vol. 103, No. 5, pp. 1067–1077(2020).
[2] Yoo, W.-g., Yi, C.-h. and Kim, M.-h.: Effects of aproximity-sensing feedback chair on head, shoulder, andtrunk postures when working at a visual display terminal, Journal of Occupational Rehabilitation, Vol. 16, pp.
631–637 (2006).
[3] Sztyler, T., Stuckenschmidt, H. and Petrich, W.:
Position-aware activity recognition with wearable devices, Pervasive and mobile computing, Vol. 38, pp. 281–
295 (2017).
[4] Chen, Y. and Xue, Y.: A Deep Learning Approach to
Human Activity Recognition Based on Single Accelerometer, IEEE International Conference on Systems, Man,
and Cybernetics, pp. 1488–1492 (2015).
[5] Wang, L. and Liu, R.: Human activity recognition basedon wearable sensor using hierarchical deep LSTM networks, Circuits, Systems, and Signal Processing, Vol. 39,
pp. 837–856 (2020).
[6] Hu, W.-S., Li, H.-C., Pan, L., Li, W., Tao, R. and Du,
Q.: Spatial–spectral feature extraction via deep ConvLSTM neural networks for hyperspectral image classification, IEEE Transactions on Geoscience and Remote
Sensing, Vol. 58, No. 6, pp. 4237–4250 (2020).
[7] Shinmoto Torres, R. L., Visvanathan, R., Abbott, D.,
Hill, K. D. and Ranasinghe, D. C.: A battery-less andwireless wearable sensor system for identifying bed andchair exits in a pilot trial in hospitalized older people, PLOS ONE, Vol. 12, No. 10, p. e0185670 (online),
10.1371/journal.pone.0185670 (2017).
[8] Ishac, K. and Suzuki, K.: Lifechair: A conductive fabricsensor-based smart cushion for actively shaping sitting
posture, Sensors, Vol. 18, No. 7, p. 2261 (2018).
[9] Enokibori, Y., Ito, Y., Ikeda, K., Suzuki, A., Shimakami,Y., Kawabe, T. and Mase, K.: Respiratory Volume Estimation by a Stretchable Textile Sensor, Advances inScience and Technology, Vol. 80, Trans Tech Publ, pp.
136–141 (2013).
[10] Wang, A., Chen, G., Yang, J., Zhao, S. and Chang, C.-Y.:
A comparative study on human activity recognition usinginertial sensors in a smartphone, IEEE Sensors Journal,
Vol. 16, No. 11, pp. 4566–4578 (2016).
[11] Brémond, F., Thonnat, M. and Zúniga, M.: Videounderstanding framework for automatic behavior recog-

nition, Behavior Research Methods, Vol. 38, No. 3, pp.
416–426 (2006).
[12] Ye, M., Shen, J., Lin, G., Xiang, T., Shao, L. and Hoi,
S. C.: Deep learning for person re-identification: A survey and outlook, IEEE Transactions on Pattern Analysis
and Machine Intelligence, Vol. 44, No. 6, pp. 2872–2893(2021).
[13] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J.,
Jones, L., Gomez, A. N., Kaiser, L. and Polosukhin, I.:
Attention is all you need, Advances in neural information
processing systems, Vol. 30 (2017).

6