情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-44
2019/3/6

シート型圧力センサを用いた洗面台前生活行動識別とその応用
園田 謙人1

岡田 滉太朗1

平井 重行2

概要：洗面台で日常的に行う行動（洗顔・手洗い・歯磨き）には，手腕の往復運動が含まれており，その振動が身体を伝達して床面で計測できることが確認できている．これまで，ヘルスメータ型の四隅での圧力計測や，バスマット型を想定したシート型センサでの圧力分布計測により，それら行動計測および識別を試みてきた．これらの行動や個人の識別により，家庭内での健康管理や衛生管理，ライフログとしての活用など，様々な応用システムへの展開が考えられる．本稿では，シート型圧力センサと深層学習を併用してリアルタイムで行動識別するシステムとその応用について述べる．

1. はじめに中の圧力分布とその変化を計測し，Convolutional NeuralNetwork（以下 CNN と記載）で学習モデルを作成して行住宅における生活行動をライフログとして記録するため動識別を行った．本稿においては，用いたシート型圧力セの研究 [9] や製品の発売が盛んに行われている．ただし，そンサと収集データについて述べ，CNN 構成とその学習，識れらの多くがキッチン [6] やリビングルーム [7][8] を対象と別性能について説明する．その上で，その計測や識別の内するものであり，トイレ [3] や洗面台 [4]，浴室 [5] などの生容を可聴化によって確認するシステムと，本研究の技術の活習慣上で毎日欠かさず利用する箇所での行動計測技術や応用例について述べる．

応用システムに関する製品や研究は比較的少ない．
そのような中で，我々は洗面台前での行動計測やその応用について取り組んできている [1],[2]．カメラ画像を利用

2. 日常生活行動による床面荷重変動の計測
2.1 本研究のデータ計測・収録環境

した行動識別・推定の研究が盛んな中で，洗面台は浴室前

本研究のデータ計測は，京都産業大学内に建築された実で脱衣場所であることも多く，ユーザのプライバシーや心験住宅Ξ Home（くすぃーほーむ）[10] 内の洗面脱衣室に理的懸念の話から，画像認識技術を用いずに生活行動を計て行った (図 1 参照)．ここでは，足裏の圧力分布計測にシ測・応用する手法が重要だと考えている．

ロク社製のシート型圧力センサ*1 （以下，圧力センサと記

歯磨きや洗顔，手洗いなどの洗面台前での生活行動には，載）を用いた (図 2 参照)．この圧力センサは，480mm 四手腕の往復運動が含まれている．そして，その振動は身体方の領域において，10mm 間隔でセンサ素子が 2 次元状にを伝搬して足裏まで伝わり，床面でその圧力分布や荷重の配置されており，センサ一枚あたり 2304 点の圧力分布が変動が計測できることを確認した [1]．また，その振動の特計測できる．本研究においては，洗面台前での一般的なバ徴量を機械学習技術と組み合わせることで個人推定や行動スマット程度の領域で圧力分布を計測できることが望まし識別なども試みてきた [2]．これは将来的なスマートハウス

いと考え，このシートセンサを横に 2 枚配置してデータ収環境では，バスマットが圧力センサを内蔵していたり，床集を行うこととした．これは，洗面台へ向かって横方向に面に圧力センサなどが埋め込まれた環境となって，様々な960mm，前後方向に 480mm の領域で計測することとなる応用システムへ繋がることを想定している．

（圧力は横方向 96 点，縦方向 48 点，計 4608 点で計測）．

本研究ではこのような狙いのもと，床面での荷重変動をこの圧力センサで足裏の圧力分布を計測した例を図 3 に示利用し，機械学習を用いて洗顔や手洗い，歯磨きなどの日す．これにより，圧力センサ上に載せた足の圧力分布や荷常行動推定の可能性を示すことを目的としている．これ

重バランスなどが計測できるほか，そのデータの合算からまで，洗面台前にシート型圧力センサを設置し，生活行動は体重の情報も計算できる．圧力の各計測点は 50Hz サン

12

京都産業大学大学院 先端情報学科
京都産業大学 情報理工学部© 2019 Information Processing Society of Japan*1

LL シートセンサ（株式会社シロク製）
https://www.llsensor.com359

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

プリングで計測を行い，USB 接続された PC でデータ収集

1B-44
2019/3/6

2.3 データ収録とラベル付けを行った．なお，実際の洗面台前での行動のデータ収集に今回は，健康な成人男性 3 名（いずれも 20 代）からデー

おいては，その行動の様子をビデオ撮影し，圧力センサでタ収集を行なった．圧力センサ前での待機状態から計測開得られる各データに対して機械学習に用いるラベル付けに始し，圧力センサ上に乗って，「手洗い」「歯磨き」「顔洗用いた．

い」のいずれかの行動を行って圧力センサから降りるまでを一試行とし，その間の圧力分布のデータ（4608ch 分）をPC 上で記録した．各被験者の 3 つの行動それぞれの収集した回数（試行回数）を表 1 に示す．

—

図 1

表 1 試行回数
被験者 A
被験者 B
被験者 C

合計

手洗い1412935

歯磨き1312934

顔洗い1412935合計

413627104

計測を行った洗面台

次に，各行動別に収録された時系列データに対し，撮影された動画を参考にして動作レベルでのラベル付けを行った．ただし，すべての細かな動作へのラベル付けは困難であるため，「手洗い」行動については手をすり合わせる動き，「顔洗い」行動については顔をこする動き，「歯磨き」行動については磨く場所に着目して，それぞれラベル付けを行った．また，「ノイズ」ラベルには三行動のどれにも当てはまらないようなデータが含まれており，「行動名＋その他」ラベルには三行動内の動作ではあるが，ラベルづけしにくいようなデータ (動作と動作の遷移途中など) が含まれている．各被験者の行動から得た動作ラベルの付いたフレームの総数を表 2 に示す．

3. CNN による識別処理
図 2 シロク社製シート型圧力センサ

データ計測後，ラベル付けされたデータの処理手順について述べる．

3.1 CNN に入力するデータセットについてラベル付けされたデータは個人毎，ラベル毎にフレーム数が異なっているため，CNN への入力の際にデータ数の統一を行う．データ数の統一は，最もフレーム数が少ない動作を基準として行動毎のデータ数を決定，各行動内の各動作から均等に無作為抽出を行う．今回は，4500 フレーム
図 3 足裏の圧力分布計測例を行動毎のデータ数として決定し，無作為抽出を行い，入力用のデータセットを作成した．また，識別精度の妥当性を検証，確認するために一般的な交差検証の手段の一つで2.2 本研究における行動と動作の定義
本研究においては，洗面台前における日常生活で行うある N 分割交差検証法を用い，N を 5 として 5 分割交差検証を行う．CNN にはラベル付けされたデータの 1 フレー「手洗い」「歯磨き」「顔洗い」などを計測・識別対象としムを 48 × 96 の画像として入力する．学習の際には，教師ており，本稿ではこれらを「行動」と呼ぶ．また，それらデータの一割をバリデーションセットとして使用する．

行動の中で行う一つ一つの所作（例えば，手洗い時の石鹸を手に持つ，石鹸を泡立てる，手についた泡をすすぐ，など）を「動作」と呼ぶ．

© 2019 Information Processing Society of Japan

3.2 今回使用した CNN の構造について
CNN は，畳み込み層 (Convolution Layer)，プーリング

360

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

行動名

手洗い

歯磨き

顔洗い

1B-44
2019/3/6

表 2 ラベル付けされたフレームの総数
動作名
被験者 A
被験者 B
被験者 C

4. CNN による識別結果と考察

ノイズ

7173

4844

3115

水洗い

5254

4014

1757

石鹸取り

702

905

591

石鹸把持

12355

6091

4068

一から識別モデルを作成することは，データ収集とラベル

CNN を用いた識別結果について述べる．本研究は一般家庭内での使用を想定しており，家族一人一人に対して，石鹸置き

695

606

555

付け作業の点から，現実的ではないと考えている．ここで

泡洗い

20250

22308

13922

は，家族まとめての統合的な識別モデルを作成しておき，泡ゆすぎ

13880

14635

9648

計測システムを使用していく中で家族それぞれのモデルに水払い

2596

1152

1408

手拭き調整していく仕組みが望ましいと考えている．本章の以下

7881

6224

4101

手洗いその他

2227

2615

2998

ノイズ

36374

44097

31735

を行う統合的なモデルを CNN で学習し，その識別性能にの節では，被験者 3 人のデータを元に，行動レベルの識別前歯

33275

8947

19308

ついて示す．そして，その統合モデルとは別に，被験者毎右奥歯40589

26063

30966の識別モデルを作成した識別性能についても示す．なお，

左奥歯

36851

25406

31696

以下の CNN の学習においてはすべて epoch 数を 50 とし歯磨きその他

2615

5704

3552

た結果である．

ノイズ

8157

10335

6343

水顔洗い

959051596374

泡立て5522

2912

3570

洗顔

17030

23029

16265

被験者 3 人の統合モデルを用い，個人毎の行動識別を試

顔洗い

25260

20348

21977

みた結果，最尤識別率は 93.8%となった．その結果を表 3

水払い

1420

10651421に示す．ここでは，5 分割交差検証を行った際の 5 つのモ

手顔拭き

13379

9554

6072

デルそれぞれに対する行動識別性能と，平均値を示して顔洗いその他

9668

12904

14630

いる．

4.1 被験者 3 人の統合モデルの識別精度

図 5 は，個人毎に分けた識別性能を表す混同行列である．
層 (Pooling Layer)，全結合層 (FullyConnected Layer) かそして，図 6 はそれを個人で分けずに統合した結果としてらなるニューラルネットワークである．今回作成した CNNの識別性能の混同行列である．の構造を図 4 に示す．図中の Conv，Pooling，Full はそれ
表 3

ぞれ，畳み込み層，プーリング層，全結合層を表し，数字統合モデルの各モデルの識別結果 [%]—被験者 A&B&C

Model 193.43

Model 293.82

タとして 48 × 96 × 1 の圧力分布データを与え，3 × 3 のModel 393.30

フィルターで畳み込みを行うことで，32 枚の特徴量マッ

Model 493.43プを得る．次に，Pooling2 で Conv1 から得た特徴量マッ

Model 593.42プを入力とし，小領域 (今回は 2 × 2 領域) に対して最大平均93.48(± 0.18)は隠れ層の何層目であるかを表している．入出力層を含み7 層構造になっている．はじめに，Conv1 では，入力デーのものを選択するマックスプーリング (Max Pooling) により，圧縮を行う．同様の動作をもう一度 Conv3，Pooling4と行い，その出力を Full5 に入力し，識別を行う．中間層

4.2 個人毎のモデルでの識別精度
個人毎のモデルを用いて，行動識別を試みた結果を表 4の活性化関数には relu 関数を用い，出力層の活性化関数にに示す. ここでは，5 分割交差検証を行った際の 5 つのモデは softmax 関数を用いた．最適化手法は adam を用い，学ルそれぞれに対する行動識別性能と，平均値を示している．

習率は 0.0001 としている．

図 4 今回作成した CNN の構造

表 4

個人毎の各モデルの識別結果 [%]

—

被験者 A

被験者 B

被験者 C

Model 1

97.92

96.36

96.92

Model 2

98.36

96.97

97.44

Model 3

97.83

96.75

97.25

Model 495.08

96.3696.58

Model 598.00

96.33

96.89

平均97.44(± 1.19)

96.55(± 0.26)

97.02(± 0.30)

図 7 は，個人毎のモデルを用いた識別性能を表す混同行列と識別精度である．

© 2019 Information Processing Society of Japan361

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-44
2019/3/6

図 7

個人モデルの行動別混同行列左上）被験者 A，右上）被験者 B，下）被験者 C

図 5 統合モデルの行動別混同行列（被験者を区別しての表示）

る．これも，上記の統合モデルと同様の話と考えられる．
そして，ノイズを除く 3 つの行動の識別性能に着目すると，どの被験者のデータも 99%以上の識別が行えている．
これは．何かしらの手段で個人特定ができていれば，統合モデルに比べ，より高精度な行動識別が行えることを示している．

5. 行動識別結果の確認システムについて床面で得られる圧力分布を利用し，CNN によって行動図 6

統合モデルの行動別混同行列（被験者をまとめた表示）や個人識別を行なった結果を表現する手法の一つとして，Interactive Sonification が挙げられる．Interactive Sonifi4.3 識別結果に対する考察

cation[11] とは，呼ばれる非言語音を用いてインタラクティ

4.3.1 統合モデルに関する考察ブに情報提示する手法である. これは情報可聴化や聴 覚

図 5 および図 6 の混同行列からは，ラベル「ノイズ」のディスプレイ研究 [12] の一分野であり，音を聴くことにデータが行動間および個人間を超えて識別誤りが起こってよって時間変化やタイミング，状態の情報を伝達することいることが確認できる．その原因については，各行動におができる．音によって表現することで，視覚を使わず情報ける圧力センサの上に両足でしっかりと立つ直前や最中のを提示することが可能であるため，手洗いや顔洗いのなどデータも含まれていることによると考えられる．そして，の俯くような体勢でも，情報を取得することが可能になる．

ノイズ以外の 3 つの行動間での識別誤りについては，行動また，ディスプレイに表示するわけではないので，顔の向中の一時的な動作が止まったタイミングのデータが，ノイきが固定されることもなくなる．これらの利点から，リアズのデータと似ていることに起因していると考えている．

ルタイムに床面でセンシングした情報や行動識別結果を利一方で，図 5 においてノイズを除いた 3 つの行動の識別用して，その様子を音で表現するシステムを試作した．こ

結果で見た場合には，個人および行動を含めた識別は全てれにより，洗面台前行動における個人毎の動きの特徴や，97%以上であり，個人間の識別誤りは 1%以下となってい行動の違いによる様子などが音の様子やその変化によってる．これは，統合モデルにおいて個人識別と行動識別が同確認できる．

時に高精度で行えることを示している．

4.3.2 個人モデルに関する考察

6. 応用について

図 6 の個人毎のモデルにおいても，ノイズが 3 つの行第四章で得られた結果から，床面で得られる圧力分布を動に渡って識別誤りを引き起こしていることが確認でき利用し，CNN によって行動や個人識別の可能性を示すこ© 2019 Information Processing Society of Japan362

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-44
2019/3/6とができたと考えられるため，次に，識別結果やセンサか報告では，シート型圧力センサを用いて床面における足裏ら得られるデータを利用した応用例について提案する．の圧力分布を計測し，CNN で行動識別を試みた．

6.1 ライフログによる健康・衛生管理
手洗い，歯磨き，洗顔などは，健康・衛生管理の点で重要と言える．ライフログとしてそれら行動と日時・体重などを記録していくことで，健康管理や衛生管理の点でアドバイスするサービスへと展開することができると考えられる．また，高齢者に対しては遠方に住む家族が日常的な生活行動記録として見守りに利用することも考えられる．

6.2 子供の生活習慣付け

その識別結果からは，3 名の被験者を統合したモデルによって，個人識別および行動識別を同時に行い，93.8%の識別性能が出ることを確認した．また，個人毎に構築したモデルでは，それぞれの被験者で 97.6%の識別ができることも確認した．被験者数やその多様さ，またバスマットなどの実環境利用へ向けた課題などはあるものの，床面での圧力分布計測と機械学習の組合せによって技術的な可能性は十分に示せたと考えている．そして，識別結果やセンサから得られるデータを利用した応用例についていくつか提

小さな子供に対しては，家の外から帰ってきた際の手洗案を行い，今回は，識別結果を Interactive Sonification といをしたかどうかの記録であったり，石鹸利用も含めてど組み合わせた，行動識別の結果などが確認できるシステム

れだけしっかり手を洗ったかなどを確認する仕組みとしてを試作した．今後は識別処理における時系列データを踏ま利用することができる．また，朝の洗顔や就寝前の歯磨きえた処理手法への改良や，様々な体格・体重の人による被などの行動も習慣付けの確認として利用できる．

験者実験，バスマット利用などの実環境へ向けた実験など

6.3 インタラクティブな歯磨き支援を行い，応用システムの開発も含めた技術の実用化を目指

歯磨き時に奥歯や前歯などの磨き箇所が識別できれば，してゆきたい．

それに応じた歯磨き支援の応用ができる．例えば，子供向けの歯磨き習慣付けを目的とするゲームアプリケーショ

参考文献

ンを鏡ディスプレイに表示したりすることができる．また[1]

視覚ディスプレイがなくとも，磨きが十分でない箇所をブラッシングしている時はおどろおどろしい音，しっかり磨[2]

けたらキラキラした音で表現するなど，音の変化で磨き具合を示す応用なども考えられる．一方で，子供に限らない[3]

歯磨き支援としては，歯科衛生に基づくブラシの当て方やブラッシング方法，時間などをアドバイスする応用システ
ムなども考えられる．

6.4 個人向け情報提示

[4]

[5]

出勤・登校前など家族間で朝の時間が慌ただしくなる場
面において，家族内でも個人で必要となる情報は異なるこ[6]とが想定できる．そのような場合に，洗面台前に立って洗顔などを行うことで個人識別できれば，それに合わせた情報提示が可能である．鏡ディスプレイや台へのプロジェク[7]ションなど視覚的な情報提示のほか，音声や音による情報提示も考えられる．ここでは天気予報であったり，乗るべ[8]

き電車やバスに間に合うよう家を出るまでの時間であった
り，場面に応じた情報を提供するシステムの一部として利用可能である．

[9]

7. おわりに
本研究は，ライフログ活用やインタラクティブな生活行[10]動支援などを念頭において，洗面台前の日常生活行動を非拘束で計測・識別できる手法について取り組んでいる．

[11]

そこでは，「歯磨き」「手洗い」「顔洗い」の 3 つの行動に共通して含まれる手腕の往復運動に着目し，その振動が身体を伝達して床面で計測できることも確認できている．本© 2019 Information Processing Society of Japan[12]

小山貴之 and 平井重行, スマート洗面化粧台へ向けた
床面振動計測と行動認識の検討, 情報処理学会研究報告,2016-HCI-166, 7, 1–5, 2016
小山貴之 and 平井重行, 洗面台での日常生活行動の床面振動計測とその振動モニターシステム, 情報処理学会インタラクション 2016, 162B, 36, 624–628, 2016
倉橋 真也 and 村尾 和哉 and 寺田 努 and 塚本 昌彦, ト
イレットペーパの回転に基づくトイレ使用者識別手法, 情報処理学会論文誌, 58, 1, 237–248, 2017
吉川昌秀 and 寺田佳代子 and 江口佳記 and 飛田博章,
TEALION 洗面台見守りサービスの提案, 情報処理学会
研究報告, 2016-CVIM-200, 35, 1–6, 2016
大西諒 and 平井重行, RFID を用いた浴室内行動計測の基礎検討, 情報処理学会論文誌, 49, 6, 1932–1941, 2008
椎尾 一郎 and 浜田 玲子 and 美馬 のゆり, Kitchen of theFuture:コンピュータ強化キッチンとその応用, コンピュー
タソフトウェア (日本ソフトウェア科学会), 23, 4, 36–46,
2006
Branzel, Alan, et al., ”GravitySpace: tracking users
and their poses in a smart room usinga pressure-sensingfloor”, CHI 2013, 725–734, 2013
中里祐介 and 神原誠之 and 横矢直和, 不可視マーカを用いた位置・姿勢推定のための環境構築とユーザ位置・姿勢推定システム, 日本バーチャルリアリティ学会論文誌,
13, 2, 257–266, 2008大内一成 and 土井美和子, スマートフォンを用いた生活
行動認識技術, 東芝レビュー = Toshiba review / 東芝ビ
ジネス&ライフサービス株式会社 Web&テクニカルサー
ビス事業部 編, 68, 6, 40–43, 2013平井重行 and 上田博唯, 実験住宅Ξ Home（くすぃーほーむ）でのユーザエクスペリエンス研究へ向けて, SI2011 講
演論文集, 30, 6, 626–634, 2011
Thomas Hermann, Andy Hunt: Interactive Sonification Webpage,
http://interactive-sonification.org(2018.12.24).
Thomas Hemann, Andy Huntm John G, Nuefoﬀ(2011):
Sonification Handbook, Logos Publishing House.

363