情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

短時間パターン認識結果の投票的統合によるドア利用者識別
豊浦正広 †1山梨大学

1. はじめに奥田雅也 †1
山梨大学

やさないので，人の流れを妨げることもない．

カメラ画像からの人物識別は，ほぼ 100% の精度を実現

ドアに取り付けた加速度からの利用者の識別を機械学習する手法が多く登場している [1, 2, 3, 4]．一方で，プライバを用いて行う研究には先例 [8, 9, 10, 11] があるものの，精シ保護や機密情報保護の観点から，家庭内や医療・介護施設

度は 90% 程度までにとどまっていた．精度が高くならな

内，企業内の IoT システムではカメラ画像の利用が避けらかったひとつの原因は，SVM や古典的な DNN が採用されれることも多い．本研究では，ドアの利用者識別に焦点をていたためである．我々は Transformer[12] を含む新しい

当てて，カメラ画像を用いた人物識別を目指す．

ネットワーク構造を導入することで精度を高めた．もうひカメラ画像を用いないことで容姿や表情などの不必要なとつの原因は，学習のためのサンプル数が十分に集められ情報を獲得せずに済み，心理的障壁を下げることができる．

なかったためである．深層学習のためにはアノテーション

初めから情報を獲得しないことによって，もしデータが漏の付けられた大量のデータが必要となるのが一般的である．

洩したときにも被害を少なくすることができる．カメラを従来手法では，ドア 1 回の開閉で 1 つのサンプルとしてい通して顔画像などの取得を制限する動きは世界中で広まりたために，現実的に十分なデータが得られなかった．このつつある．たとえば，EU は法執行当局による顔認証を含む

結果，十分にネットワークの訓練ができなかったものと考

生体認証の使用を禁止する規制案を発表しており [5]，このえられる．

規制は EU に居住する人には適用されるため，EU 域外においても規制が適用される．

我々はこの問題を解決するために，ドアの開閉による時
系列 9 軸データを微小な運動の連続として捉えて，ネット

SNS を通しての企業の情報流出も問題になっており，SNS

ワークの訓練に十分なサンプル数を確保する手法を提案すにアップロードされた画像に移りこんだ個人情報の取り扱

る．1 回のドアの開閉の中で投票を行うことで，最終的な利いについて，社会的な関心も高い [6, 7]．カメラは人間に用者の識別を行う．

とっても直感的に状況を認識しやすい一方で，認識のしや本論文の貢献は以下の通りであり，概要を図 1 に示す．

すさ故に，情報が流出したときには問題となることが多い．

1. ドアの 1 回の開閉で 1 つのサンプルしか得られなかっ本研究では，カメラなしで利用者の特定ができるようにす

た従来の訓練方法に対して，ドアの開閉を微小な運動

る立場に立ち，その中でも屋内での人の行動追跡に有用での連続と捉えることで，DNN の訓練に十分なデータをあるドアの利用者を認識する手法を提案する．

確保できるようにした．(4.1)

本研究では 9 軸センサによる利用者の認証を目指す．9

2. 複数のドアに取り付けて，複数の利用者を認識するため

軸センサは軽量で低電力であることから，利用者に意識さの，マルチタスクネットワークをデザインした．ネッ

れにくく，電力確保もそれほど問題にならない．この点にトワークには Transformer を含み，時系列信号に対す

おいても，9 軸センサは IoT デバイスとしてカメラよりもる効率的な訓練を実現した．(4.2)

優れているといえる．個人の認証には，ID カードや生体認証，PIN などを求める方法も考えられるが，これらはいず

本論文の構成は以下の通りである．2. では，ドアのユー

れもドアを開けるための手間を増やすことになり，紛失やザを識別する手法に関する関連研究を紹介する．3. では，盗難の問題も起こる．本研究で行うドアの利用者認証は，こ実験を行った環境や条件を紹介し，データセットをいかにれらの認証に比べるとセキュリティ的には強固とはいえな作成したかについて説明する．4. では，Transformer を含

いものの，家庭内や企業内で利用者が限られた空間で用いむマルチタスク学習によるドアの利用者の手法を紹介する．

て人の流れを追跡するために向いている．認証の手間を増

5. では実験結果を示し，6. で結論を述べ，今後の研究の方向性を述べて論文を締めくくる．

Door User Identiﬁcation with Voting Short-term Pattern Categorization†1†1

Masahiro TOYOURA, University of Yamanashi
Masaya OKUDA, University of Yamanashi

1情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

図1

提案手法概要．ドアに取り付けたセンサから得られる 9 軸信号を短時間の時系列信号に分解して認識する．人・ドア・動作のそれぞれの認識を行う．

2. 関連研究

accuracy で識別した．Vegas ら [11] も，ドアハンドルの端ドアの利用者識別のためには，カメラ [13]，ID カード，に加速度センサとジャイロセンサを取り付けてユーザの識

ビーコン認証，生体認証，PIN，スマートフォン認証 [14] な別を行った．DTW で加工した特徴量を SVM や ANN をどを利用する方法がある．カメラは利用者に特別なツール用いて学習し，47 人の利用者に対して 0.912 の AUC 値をの持ち運びを要求しない利点があるが，映像が流出した場得ることができている．

合に，格好や持ち物，表情などといった不必要な情報が含まいずれの研究においても，機械学習でそれほど高い精度をれ，会社内や家庭内では使いにくいことがある．カメラ以外得ることができていなかった．いずれも単一のドアに対すのツールでは，一般的にドアを開ける以外の動作を必要とる識別であり，ドアを変更したときの識別率については言するために，さりげなく行動を管理したい IoT アプリケー

及されていない．深層学習に耐えるだけのドアの開閉デー

ションには向かない．スマートフォンによる認証 [14] では，タのサンプルを多数集めることが難しく，比較的簡単な学

ドアに取り付けたビーコンによって，ドアに近づくだけで習器によって識別を試みているところに問題が残ると考え認証する試みを行っているが，6 名の利用者で 69%，10 名られる．また，網羅的に列挙したハンドクラフト特徴量での利用者で 62% の精度であり，高い精度であるとはいえなは，特徴量の次元を低く抑えることはできるものの，データい．ただし，この研究では，ドアに近づくときだけにドアをの特徴を十分に表現できなかったのではないかと，我々は開けるという機能が実現できており，むしろこちらに注力推察する．本研究では，少数の試行からデータを大量に集したように見える．認証ツールを紛失したり忘れたりしためて，深層学習の自動特徴抽出によって，認識精度を向上さときに，ドアを開けられなくなるリスクは残る．

せることを目指す．

ドアの利用者識別のために，ドアに取り付けた加速度セ

加速度センサからの人間行動推定では，運動の種類を識別

ンサを用いる先行研究がある．Piltaver ら [8] は，ドアに取するがあり，本研究で利用する Transformer を含めて，深

り付けた加速度センサのデータから，登録されているデー

層学習も積極的に取り入れられている [15, 16, 17, 18, 19]．

タとの照合を行うことによって，12 人の被験者を 89.9% のミーティング中の人間行動に特化して，その行動の検出を目

accuracy で識別した．Dynamic Time Warping(DTW) に
よって時間方向の変化を吸収し，得られる特徴量を k-NN

指した研究もある [20]．Fitbit や GARMIN, Apple watch

によって照合することで，識別精度を向上した．Fukao ら

や歩行，自転車等の生活行動の認識が提供されており，生[9] は，ドアノブに取り付けたジャイロセンサから利用者の活の中に浸透している IoT デバイスとなっている．これら

識別を行い，4 名の識別に入室時には 0.73，退室時には 0.90の手法は加速度センサを人が装着することを想定しており，の F-measure を得た．彼らの手法では，ドアノブを回す動モノに取り付けて受動的に人間の行動を推定する本研究と作だけで利用者を認識するので，認識結果によってはドアは立ち位置が異なるものの，タグ付けや認識手法の一部はを開けないシステムを開発することもできる．同じ研究グ

大いに参考になる．Hassan ら [19] は，ウェアラブルセンサ

ループ内の Ishida ら [10] は，冷蔵庫のドアの開閉についての信号から人間行動認識を目指し，2.56 秒分の信号波形かも似た技術で 7 名を Baysian Network によって 91.9% のら，平均値や絶対値，周波数成分の歪度・尖度，エントロといったような民生用のウェアラブルウォッチでも，睡眠2情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

ピーなどの 17 のハンドクラフト特徴量を設計した．識別器についても，1 層のニューラルネットワーク，SVM，3 層のニューラルネットワークについて試行を行っている．最終

Pull-open & pull-shut

的には，この 17 の特徴量を 3 層のニューラルネットワーク
で学習することによって，立つ・座る・歩く・横たわるなどの 12 種類の行動を 89.61% で認識した．カテゴリによってPush-open & push-shut

は十分なサンプル数がないとも論文数に書かれている．サ
ンプル数が大量に得られないときには，自動で抽出される

図2

特徴量を得ることも，より深いニューラルネットワークを

平方向，Z はドアの手前方向とした．実験の様子．ドアの上用いることも難しくなる．5. に示す実験では，手動抽出の部の最も移動量が大きくなる位置に 9 軸センサを取り付け

特徴量の精度の違いについても，検討する．

てある．軽量であり，利用者はセンサを意識することなく各軸の向き．X 軸はドアの上方向，Y 軸はドアの水ドアを開閉することができる．

3. ドア信号の取得
ドアに簡易に取り付けた 9 軸センサによって，ドアの利用者の識別を目指す．

3.1. ドア動作による 9 軸信号の特性
ドアには図 2 に示すように，ドアフックに取り付ける形
で 9 軸 IMU センサ WitMotion WT901SDCL を取り付けた．ドアの上部に取り付けることで，利用者は特に意識することなく，ドアの開閉をすることができる．同製品は SD
カードを挿入すれば 9 軸データの収録を開始し，SD カードを取り出せばデータの収録を停止する．一度収録を開始す
れば，数時間はバッテリーが持続するので，複数人の実験にも利用可能である．将来的にはソーラーバッテリーなどへの接続によって充電を不要にし，Bluetooth 接続などでセンサに触れることなくデータを取り出すことを目指す．同社製製品には Bluetooth 接続のものがあるが，獲得できる信号周波数が低いことなどから，今回の製品を採用した．

9 軸センサによって，200Hz までの加速度・角速度・地磁気のデータを取得することができる．Bluetooth で通信する装置では，バッテリーの減りが早くなり，データの欠損も起こりやすくなる．データ欠損を避けるためには，周波数は 200Hz 未満に落とすことも可能であるが，従来研究 [19]に従い，デバイスの上限速度である 200Hz とした．通信によるデータ損失を避けるために，装置に内蔵された SD カー
ドに信号を保存し，あとからデータを手動で取り出すこととして，実験を進めた．図 2 はドアの外から入ってドアを閉め，中から再度ドアを開けて外に出てドアを閉めたときに，取得できる信号の例を示す．
ドアの利用者を認証して制限するような機能はないため，ドアを利用した後に利用者を識別するにとどまる．ドアノ
ブの動きを抽出することによって，ドアの開閉前に利用者の認証をすることもできる [9] が，本論文では高度なセキュ
リティまでは要求しないような，建物内の人の動きの記録を想定して，ドアノブではなく．ドア上部の動きの推定を行った．

3.2. ドア信号に対するアノテーション付与
収録したドアセンサのデータを教師あり学習のための訓練データにするためには，どの時刻のデータが，どの利用者・どのドア・どの動作に対応するのかのラベルを付与する必要がある．どの利用者であるか，どのドアであるかは比較的明確にラベルを付けることができる．実験時には，ある実験参加者だけが，あるドアを開閉するためである．動
作には，引いて開けて引いて閉める，押して開けて押して閉めるの 2 通りがあることになる．こちらもこの 2 つの動作が繰り返し出現するので，どちらから始めたかだけを記録しておけば，容易にラベルをつけることができる．
ドアが開き始めてから閉まり終わるまでを特定することは，意外に難しい．センサ信号のパワーを見ることで，ドアに人が触れているかを推定することはできるものの，ドアから手が離れてしばらくの間には，ドアが振動してパワーが十分に小さくならないためである．また，センサにはジッ
ターノイズが載るために，実際にはドアが揺れていなくても，センサ信号のパワーは大きくなることがある．ドアから手が離れたものに対して，利用者が誰であるとか，動作がどうであるかというラベルを振ってしまうと，利用者に依らずに同じようなパターンを描くことになるために，ネッ
トワークの訓練がうまく行かないことが予想される．ドアに手が触れている時間帯をできるだけ正確に判定したい．
センサ信号を 1 動作ごとに切り分けるためには，図 3 に示すように，センサ信号をまず平滑化して，ジッターノイズを除去する．平滑化のためには，従来手法 [19] でも用いられているバターワースフィルタを利用した．平滑化した上で，パワーに閾値を設けて，ある閾値を超えたときに動作が開始し，ある閾値を下回ったときに動作が終わったものとみなした．ドアの振動が十分に収まらないうちに，次の開3情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

れの分割データに対して認識を行うようにすることで，(1)から (3) の問題を解決する．最終的には，開始から終了までの認識結果で投票を行うことによって，1 動作に対する認識
結果を得るようにする．この方法だと，パターンの時間長に影響されにくく，開始・終了の時刻のずれに対する影響も少なくて済む．細かく分割したデータの数は大量になるので，実験参加者には少数回の試行を行ってもらうだけで，訓図3x 軸回りの角速度の解析によるドア信号の切り分け練に耐えうるサイズのデータセットを準備することができるようになる．
実行時には，一度に複数回の開閉が連続することは考えに閉動作が始まってしまうときには，閾値処理によってうまくいので，このような時間帯の分割の失敗が起こることは，

く信号が切り分けられないことがあるので，ドアの開閉のあまり想定する必要はないものと考える．もし分割に失敗

回数が記録したものよりも少なくなるときには，時系列信しても，後に述べる短時間ごとの認識とその投票のアルゴ号を目視で確認して，パワーの谷となるところで，動作が完

リズムはそのまま使えるので，大きな問題にはならないも了し，すぐに始まったものとみなして，時間帯の設定を修正のと考える．それでも失敗するような一連のセンサデータ

することとした．

に対しては，認識をあきらめて，次の動作の認識を試みるのがよいと考えることとしたい．

4. Transformer を含む DNN による信号解析
4.1. 短時間分割サンプルと投票

4.2. マルチタスク学習と Transformer による認識
観測される時系列信号には，利用者の特徴の他に，ドアの従来の IoT センサパターン認識では，1 パターンの開始

特徴や動作の特徴が反映される．たとえば，同じ利用者でから終了までの特徴を捉えることで認識を行ってきた．こ

あっても，ドアが異なれば観測される信号が変わる．言いの方法の問題はいくつかある．まず，(1) 時間長の異なるパ換えると，利用者を認識するためには，ドアの影響を考慮す

ターンを扱う必要があることである．次に，(2) 開始と終了

る必要がある．従来手法では，どんなドアであっても人がの時刻が正しく得られないと，パターンが異なって見える

正しく認識できるように，様々なドアで実験を繰り返して，ことである．さらには，(3)1 回の動作で 1 サンプルしか得

ドアの影響を排除することを目指してきた．この方法では，られないために，DNN の訓練に必要なサンプル数を準備す

多くの試行を行う必要があり，実際に利用するドアが少数るのに労力がかかることである．

であっても，多数のドアでの実験が必要となる．

(1) に対しては，パターンに対してフェーズを手動で定義

この問題を解決するために，マルチタスク学習を導入しして，それぞれのフェーズの継続時間や波形を解析する手た [21]．メインタスクに利用者の認識を設定し，サブタス法が提案されている [11]．パターンをモデル化して認識す

クにドアと動作の認識を設定した．マルチタスク学習では，るので，モデル化からずれたパターンでは認識がうまくい

サブタスクを考慮した上でメインタスクを行うことによっかない．ハンドクラフト特徴量を設定せずに，データのみて，メインタスクで考慮すべきことが深層ネットワーク上から特徴を抽出する深層学習の利益も得られにくい．

の重みとして実現される．動作は，ドアを押して開けて押(2) に対しては，3.2 で述べる通り，単純なドアの開閉パ

して閉める (push-in-push-out) と引いて開け引いて閉める

ターンであっても，開始と終了の時刻は判断がしにくい問(pull-in-pull-out) の 2 種類とした．ドアに対してどちらの題がある．データセットを作成するときには手動でタイミ動作をするかによって，観測される時系列信号が異なるこ

ングは設定できるが，実行時には自動でタイミングが得らとが予想されるためである．また，この動作が認識できれれる必要があり，これに失敗すると，その後の認識はさらにば，ドアのどちらから入ってどちらから出たかも把握でき，難しくなる．

実用上も意味がある．

(3) に対しては，実験参加者により多くの試行を重ねても具体的なネットワークとして，図 4 に示すネットワーク

らう必要がある．ドアの種類が増えれば，またそれだけ試を構築した．入力される時系列信号から，人・モノ・動作の行回数を増やす必要がある．ファインチューニングなどに

3 つの認識結果が得られるように構成されている．ネット

よって新しいドアに対するネットワークを獲得しようとす

ワーク内には，時系列信号をうまく扱える Transformer[12]るときには，新しい利用者に多くの試行を再度重ねてもらを採用している．これによって，1 時刻だけの信号だけではう必要があり，サービスの実現が難しくなる．

なく，その時刻に至るまでの一連の時系列信号を考慮して，本研究では，時系列センサ情報を細かく分割して，それぞ4情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

ワーは残っている．信号のパワーに閾値を設けることで，1回ずつのドアの開閉の信号を切り分けた．
ドアが開閉する時系列信号に対して，利用者・ドア・動作のタグが 1 つずつ与えられる．実験では 1 つのドアに対す
る 30 回の開閉を 1∼14 回目の 14 回を学習用，15∼20 回目の 6 回をテスト用，21∼30 回目の 10 回を検証用に分割した．競争相手となるニューラルネットワーク以外の学習器に対しては，1∼20 回目の 20 回を学習用，21∼30 回目の 10
回を検証用とした．

5.2. 特徴量および学習器の違いによる精度比較提案する深層ネットワークでどれほど正しく利用者を識別できるかを検証した．比較のために，先行研究で実績があった 3 層のニューラルネットワーク (FCN)，ランダ
ムフォレスト，最近傍法によっても，利用者の識別を試みた．実装はそれぞれ Python と Tensorﬂow を用い，Google

Colaboratory で実行した．従来手法と比べて，論文に記載された値に対して上下するものがあるが，処理対象のデー
タセットが異なるためである．特に，従来手法では異なる
ドアによって実験を行っているものはなく，異なるドアの
図4

マルチタスク学習に用いたネットワーク．人・ドア・動作のそれぞれの認識を行う．

動きから同じ利用者であることを識別するのは，より難しいタスクとなっている．また，短時間識別結果を多数決して得たことも結果に影響している．
まずは，入力に Hassan ら [19] が提案した 17 次元のハン

最終的な認識結果を得ることができるようになる．3. で述

ドクラフト特徴量を採用したときの結果を示す．入力信号

べたデータセットの信号が入力されると，対応する正解タは短時間信号に分割したうえで，17 次元のベクトルに変換

グが教師ラベルとなって，深層学習ネットワークの訓練がされて，学習器に入力される．最終的には，一動作に対する行われる．

複数の識別結果を多数決して結果を得る．従来手法 [19] で

5. 実験

結果が得られている．さらに，Transformer を導入するこ良好な結果を得ていた FCN に対しても，0.040 だけ優れた人・ドア・動作がそれぞれ認識できるかを確かめるために，実験協力者を集めて実験を行った．

とによって，時系列の変化をよく捉えることができ，結果がさらによくなったと考えられる．
表15.1. データセットの収集

学習器の違いによる精度比較．Hassan ら [19] が導入したハンドクラフト特徴量を学習器の入力とした．

実験では，5 つのドアの上部の端から 3cm の位置に 9 軸

IMU センサを取り付けて，20 名の実験協力者 (11∼42 歳，
男性 15 名，女性 7 名，3 名は利き手が左手で残り 17 名は右手) がドアを開閉するときのセンサ信号を収録した．各被験者にはそれぞれのドアを 30 回ずつ開閉してもらった．ドアの開閉回数は，横で見ている実験実施者がカウンタを使って数え，規定回数になって時点で実験参加者に伝えるようにした．毎回の開閉後にはドアノブから手を離して，一呼吸おいてもらうように指示した．
ドアから手を離してしばらくすると，9 軸 IMU センサで得られる信号のパワーが小さくなることが期待できる．少しの間はドアの振動が残っているために，センサ信号のパ

学習器

正解率

適合率

再現率

F値

FCN

0.898

0.899

0.898

0.898

Random Forest

0.897

0.899

0.898

0.897

Nearest Neighbor
Proposed

0.718
0.939

0.734
0.939

0.716
0.939

0.717
0.938

次に，入力に 9 軸信号を直接採用するときの結果を示す．
提案手法のみで，ハンドクラフト特徴量を入力とするとき
よりも，よりよい結果が得られている．その他の手法では，
時系列信号の特徴を扱う部分がなくなるので，結果は悪くなっている．提案手法では，深層学習で得られる時系列特5情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

徴がネットワークで表現されており，よい結果を得ること

別することができた．

ができている．ドア信号を表現するためには，17 次元の手

ドアや動作の種類の推定精度についても議論することが作り特徴量よりも直接に 9 軸信号を直接入力したときの方できる．提案手法では，5 つのドアの認識精度と，pull-open

が，優れた学習器を作ることができた．

と push-open の認識精度は，表 4 に示す通りであった．ド

表2

学習器の違いによる精度比較．時系列の原信号を入力とした．

アの種類はよく推定できるが，どの方向から開けたかはそれほどわからないことが，表から読み取れる．種類の数から考えると，それぞれ 0.2 と 0.5 がベースラインとなる．セン

学習器

正解率

適合率

再現率

F値

サを取り付けるときにどのドアであるかはわかるので，推

FCN

0.800

0.800

0.800

0.799

定することに意味があまりない状況も多い．利用者が 1 つ

Random Forest

0.875

0.874

0.875

0.874

のセンサを別のドアに付け替えたり，ドア以外のモノに取り付けるときには有用になる場面があるかもしれない．

Nearest Neighbor

0.649

0.654

0.649

0.648

Proposed

0.973

0.973

0.973

0.973

実験では，通信によるデータ損失を避けるために，SD
カードに保存した 9 軸信号をあとから取り出す方法を採用

従来研究のうちでドアに対して利用者の識別を行ったもした．通信によって，バッテリーの消費が早くなるという問のを選び，得られる正解率 (accuracy) を表 3 にまとめた．

題も生じる．実験では従来手法に倣って 200Hz での信号解

複数のドアに対して利用者識別を試みたものはなかった．

析を行ったが，これほど高い周波数でなくとも解析ができ

Vegas らの手法 [11] の検証のためには，この論文の実験よる可能性はあり，より小さな周波数を設定することで，デーりも多くの利用者を識別しており，単純に優劣を比較はでタの損失やバッテリーの消費を軽減できる．今後，人を識別きない．その他の手法に対しては，多くの利用者と多くのするのに必要な下限の周波数について検証を進めたい．ま

ドアに対して，より高い精度を示しており，提案手法の方がた，Bluetooth などによる通信によって，実時間で利用者をよい結果を出している．

識別するドアの開発を行いたい．

6. Discussions and future work

謝辞

本研究では，カメラ画像に依らずにドア利用者の識別す

本研究は JST さきがけ JPMJPR213 の支援を受けた．

る手法を提案した．9 軸センサの信号からの識別によって，
カメラ画像を用いるときには問題となるプライバシ保護や機密情報保護に関する問題を解決した．
ドアの開閉を微小な運動の運動の連続として捉えること
で，DNN の学習に十分なデータを確保できるようにし，Transformer を含むマルチタスク学習ネットワークを採用することによって，実験参加者 20 人を 0.973 の正解率で識表3

各手法による認識結果

手法

対象

条件

正解率

Piltaver et al. [8]Door

12 users, 1 door

0.899

Vegas et al. [11]Handle47 users, 1 door

0.912

Fukao et al. [9]Knob

4 user, 1 door

0.900
(F 値)

Ishida et al. [10]Fridge7 users, 1 door

0.919

ProposedDoor

27 users, 5 doors

0.973

表4

ドアと動作の認識結果
クラス数

正解率

ドア

5

0.965

動作

2 (pull-open and push-open)

0.687

参考文献
[1] F. Schroﬀ, D. Kalenichenko, J. Philbin, Facenet: A
uniﬁed embedding for face recognition and clustering,
Proc. Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition (CVPR), pp. 815-823,
2015.
[2] Fu, M. Fu, S. Sun, H. Gao, D. Wang, X. Tong, Q. Liu, Q.
Liang, “Improving Person Re-identiﬁcation using A Selffocusing Network in Internet of Things,” IEEE Internetof Things Journal, 2021.
[3] Z. Cheng, X. Zhu, S. Gong, Surveillance Face Recognition Challenge, 2018.
[4] S. Afra and R. Alhajj, Early warning system: From facerecognition by surveillance cameras to social media analysis to detecting suspicious people, Physica A: Statistical Mechanics and its Applications, vol. 540, pp. 123151,
2020.
[5] EU FRA, “Facial Recognition Technology: Fundamental
Rights Considerations in the Context of Law Enforcement,” ed: Publications Oﬃce of the European Union
Luxembourg, 2019.
[6] K. Sarikakis and L. Winter, Social Media Users Legal
Consciousness About Privacy, Social Media + Society,6

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

vol. 3, no. 1, , pp. 1–14, 2017.
[7] I. Mutambik, J. Lee, A. Almuqrin, W. Halboob, T. Omar,
A. Floos, User concerns regarding information sharing
on social networking sites: The user s perspective in thecontext of national culture, PLOS ONE, vol. 17, no. 1,
pp. e0263157, 2022.
[8] R. Piltaver, H. Gjoreski, and M. Gams, “Identifying aperson with door-mounted accelerometer,” Journal of
Ambient Intelligence and Smart Environments, vol. 10,
pp. 361-375, 2018.
[9] A. Fukao, K. Futami, and K. Murao, “An Individual
Recognition Method based on Door Opening and Closing
Motion using a Gyroscope,” Applied human informatics(AHI), vol. 3, no. 1, pp. 1-11, 2021.
[10] A. Ishida, K. Murao, T. Terada, and M. Tsukamoto,“A user identiﬁcation method based on features of opening/closing a refrigerator door,” in 2017 IEEE International Conference on Pervasive Computing and Communications Workshops (PerCom Workshops), 2017, pp.
533-538: IEEE.
[11] J. Vegas, C. Llamas, M. A. González, and C. Hernàndez,“Identifying users from the interaction with a door
handle,” Pervasive and Mobile Computing, vol. 70, p.
101293, 2020.
[12] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L.
Jones, A.N. Gomez, L. Kaiser, I. Polosukhin, ”Attention is All You Need,” Advances in neural information
processing systems, vol. 30, 2017.
[13] M. Ye, J. Shen, G. Lin, T. Xiang, L. Shao, and S. C. Hoi,
“Deep learning for person re-identiﬁcation: A survey andoutlook,” IEEE Transactions on Pattern Analysis andMachine Intelligence, vol. 44, no. 6, pp. 2872-2893, 2021.
[14] W. Shao, T. Nguyen, K. Qin, M. Youssef, and F. D.
Salim, “Bledoorguard: a device-free person identiﬁcation
framework using bluetooth signals for door access,” IEEE
Internet of Things Journal, vol. 5, no. 6, pp. 5227-5239,
2018.
[15] A. Bayat, M. Pomplun, and D. A. Tran, “A study on human activity recognition using accelerometer data fromsmartphones,” Procedia Computer Science, vol. 34, pp.
450-457, 2014.
[16] A. Ignatov, “Real-time human activity recognition fromaccelerometer data using Convolutional Neural Networks,” Applied Soft Computing, vol. 62, pp. 915-922,
2018.
[17] S.-M. Lee, S. M. Yoon, and H. Cho, “Human activity
recognition from accelerometer data using Convolutional
Neural Network,” Proc. IEEE International Conference
on Big Data and Smart Computing (bigcomp), pp. 131134, 2017.
[18] Y. Shavit and I. Klein, “Boosting Inertial-Based Human
Activity Recognition With Transformers,” IEEE Access,vol. 9, pp. 53540-53547, 2021.
[19] M. M. Hassan, M. Z. Uddin, A. Mohamed, and A. Almo-

gren, “A robust human activity recognition system using
smartphone sensors and deep learning,” Future Generation Computer Systems, vol. 81, pp. 307-313, 2018.
[20] A. Ohnishi, K. Murao, T. Terada, and M. Tsukamoto,“A method for structuring meeting logs using wearable
sensors,” Internet of Things, vol. 5, pp. 140-152, 2019.
[21] Y. Zhang and Q. Yang, A Survey on Multi-Task Learning, IEEE Transactions on Knowledge and Data Engineering, vol. 34, no. 12, pp. 5586-5609, 2022.

7