RFID タグ付き浴室物品の使用履歴からの入浴行動推定大西諒*1 平井重行*2

Estimation of Bathing Activities from Use of Bath Items Using HMM.
Ryo Onishi*1 and Shigeyuki Hirai*2
Abstract – We have a research project of a bathroom as an ubiquitous computing environment.
In order to measure bathing activities, we have studied availability of RFID equipped into bath items in abathroom with water. From some experiments, we confirmed to be able to detect primitive actions of bathing
person by picking up or putting bath items and their positions. However, meta-level bathing activities, forinstance washing body or hair, are more useful than primitive actions for various applications. This paper
describes three trial estimations of meta-level bathing activities from primitive activities using Hidden Markov
Model (HMM). This paper also describes data of bathing activities for HMM, and a simulation using actual bathitems equipped RFIDs.
Keyword : User Activity, HMM, Ubiquitous Computing, RFID, Bathroom, SmartHome

1.

はじめにスマートホーム分野の研究として，我々は浴室を対象に様々な研究を行っている[1][2][3]．それらのうち，RFID 付き浴室内物品を用いる研究[3]では，水場でシャワーなどを利用していても，入浴者の使用物品の識別が可能であることがわかってきた．これにより，電子機器の設置が容易でなく，プライバシーの都合上カメラ設置が困難な浴室で，入浴者の行動計測を行うための手段として RFID が利用できることを示した．しかし，この手段で得られる情報は，各物品の置き場所の変化から「・・を持ち上げた」「・・を・・へ置いた」といった物品の使用に関する情報（プリミティブ情報）のみである．浴室内の状況を遠隔地へ伝達するな
どの応用を考えると，個々の物品に関する情報ではなく，「頭を洗っている」「身体を洗っている」などの人が行う入浴行動（メタレベル行動）の情報を扱うほうが良いと言える．
そこで，我々はメタレベル行動情報の取得および伝達を目的とし，プリミティブ情報（RFID 付き物品の使用履歴）に対し，隠れマルコフモデル (以下 HMM)を適用してメタレベルの入浴行動推定を試みた．ここでは，本物の浴室と物品を使用して模擬的に入浴動作を行う被験者実験の集計データと，アンケートによる浴室物品の使用履歴の集計データ，2 つのデータに対して入浴行動推定を試みた．本稿ではそれら行動データの収集について，および HMM のいくつかの適用法と各結果について述べ，考察を行う．
2.

2.1
統制浴室環境による行動データ収集
本物の浴室（図 1）および浴室内物品を用いて，被験者による模擬的な入浴行動のデータ収集を行った．被験者は44 名(男性 20 名，女性 24 名，年齢 19～60 歳)である．各
被験者においては普段の自宅の浴室環境とは異なる環境での模擬動作となるが，この浴室における物品を用いて入浴するという前提で行動してもらった．実験は，行動の様子をビデオで撮影し，模擬行動終了後に実験内容に関するアンケートを行った．ここでは，アンケート回答を考慮して，行動 8 種と浴室物品 13 種(表 1，2 参照)に分類して集計した．このデータを「調査データ 1」とする．表 2 においては浴槽やカランなど RFID では使用検出不可なものも含まれているが，他センサから使用情報が得られるという前提で，浴室物品と同等の扱いをしている．表 3 には，入浴行動に対する使用物品の履歴の例を示す．

入浴行動データの収集

次章で HMM の適用については詳しく述べるが，HMMを構築するための大量の入浴行動データ（物品使用履歴および行動履歴）が必要となる．そこで，次の 2 つの行動データ収集を行った．

*1: 京都産業大学大学院理学研究科*2: 京都産業大学コンピュータ理工学部*1: Division of Science, Graduate School of Kyoto Sangyo University*2: Faculty of Computer Science and Engineering, Kyoto Sangyo
UniversityFig.1

図1 浴室
An Bathroom

表1 調査データ 1 の行動
Table 1 Bathing Activities of Questionnaire Data1
記号
A
B
CDEFGH

記号
A
BCDEFGHI行動
かけ湯顔を洗う
髪を洗う
髪をケアする
体を洗う
あがり湯その他
浴槽につかる

表2 調査データ 1 の浴室物品
Table 2 Bath Items of Questionnaire Data1
記号abcdefghijklm

浴室物品
シャワー
ボディーソープシャンプー
コンディショナー
石鹸
桶
椅子
洗面器
歯ブラシ
スポンジ
カラン
浴槽
洗顔剤

表3 入浴行動と浴室物品の履歴例
Table 3 Example Bathing Activities And Using Bath Items
入浴行動
ACDEBHF
BEHCHGF
ACDBEH

浴室物品の使用履歴
a, gca, da, jba, hkma, l, agma, kheja, l, gca, l, a, aga, ca, da, ma, jba, l※物品履歴のカンマは入浴行動の区切り
2.2
アンケートによる行動データ収集
前節の調査データ 1 は，浴室・物品が統制された環境依存のデータである．そこで，様々な浴室環境や物品があることを想定したアンケート調査を行い，各家庭での浴室や物品による鼓動データの収集を行った．このアンケートでは，正確で詳細な情報が得られるよう，30 分以上の回答時間を費やしてもらうことを想定して作成した．このアンケートによって 135 名(男性 59 名，女性 76 名，年齢 6～84歳)のデータを得た．ここでは，行動 9 種，浴室物品 31 種(表 4，5 参照)に分類している．しかし，135 名のうち 23名が，3.2 節で述べる行動推定手法において，行動推定の計算時間の都合上，推定が行えなかったため，本稿では，データ数を 103 名として議論する．このデータを「調査データ 2」とする．
3.

表4 調査データ 2 の行動
Bathing Activities of Questionnaire Data2

Table 4

入浴行動推定処理への HMM 適用

本章では，浴室物品の使用履歴を基にした入浴行動推定の手法および各推定結果について述べる．一般的に，時系列情報から行動推定する手法として，ベイジアンネットワ

Table 5記号a

行動
頭を洗う
身体を洗う
顔を洗う
髭剃り
クレンジングかかり湯
シャワーを浴びる
浴槽につかる
その他

表5 調査データ 2 の浴室物品
Bath Items of Questionnaire Data2

浴室物品
シャンプー

記号q

浴室物品
たわしbcリンス
ボディーソープrs

掃除用洗剤
あかすくいd

洗顔石鹸

t

掃除用スポンジ

e

歯ブラシ

u

髭刀

fg

歯磨き粉
手桶vw

石鹸
石鹸皿

h

床マット

x

鏡

i

椅子

yjk

混ぜ棒
タオル

z
[l洗面器

¥

クレンジングオイルm

軽石]

クレンジングクリーム

no

あかすり
シャンプーハット^_p

シャワーヘッド

浴槽のふた
シェービングクリーム
トリートメント

その他
浴槽

ーク[4]や，HMM[5]-[7]がよく用いられる．ベイジアンネット
ワークは，非循環有向グラフとして表現するため，ある行動をとった後に，再び同じ行動をとる可能性のあるデータには適応しにくいという特徴がある．しかし浴室行動では，頭を洗う際にシャンプーを 2 回使う可能性があったり，顔を 2 回以上洗う可能性があるなど，同一物品の複数回使用や同一行動の複数回実施が起こりうる．そのため，我々はベイジアンネットワークの利用は困難と判断し，まずHMM を用いて研究を行うこととした．
HMM を構築するための行動および使用履歴の情報は前章で述べた調査データを用いる．HMM の適用については
3.1-3.5 節で述べる．各適用法における推定率の結果は「一致率」と「類似率」で示す．一致率は，実行動に対する推定行動の個数・並びとも完全一致を元とする比較指標である．一方で類似率は，推定結果の順序がどれほど実行動に類似しているかを表す比較指標である．また，本章で述べる各適用方法における推定率は収集データ全体で HMM構築したクローズテストである．未知データを扱うオープ
ンテスト方式での行動推定は次章で述べる．HMM 構築したクローズテストである．未知データを扱うオープンテス
ト方式での行動推定は次章で述べる．
3.1
適用法 1
単純に，状態を「入浴行動」，遷移記号を「使用物品」とした HMM を構築した(図 2)．この適用法では，使用物品列を基に状態に対するビタビ・アルゴリズムを解くことで，物品（記号）に対する行動（状態）遷移の推定を行う．
この適用法による推定結果を表 6 に示す．

abca, b, c…. アイテム
RFID タグで検出可能な浴室物品

A

Table 7

表7 物品 HMM の推定率(調査データ 1)
Estimation Rate of Item HMM(Questionnaire Data 1)
HMM

A, B, C…. 行動
頭・体を洗うといった浴室内での行動
C

Babc

かけ湯顔を洗う
髪を洗う
髪をケアする
体を洗う
上がり湯
その他
浴槽につかる

図2 適用法 1 の HMM モデル概要
Fig.2
HMM Model of Method 1

表6

適用法 1 における推定率の平均と標準偏差Table 6 Estimation Rate Using Method 1

調査データ
調査データ 1
調査データ 2一致率
83.06%(9.73%)
79.01%(12.24%)

類似率89.32%(11.58%)
81.21%(13.76%)※ ()内は標準偏差2 つの調査データにおける推定率を比較すると，推定率は調査データ 1 の方が高い．これは統制環境で物品が限定されていることにより，調査データ 2 に比べて推定率が高くなったと考えられる．
3.2
適用法 2
適用法 2 では，メタレベルの入浴行動毎の使用物品列を調査データから抜き出して作成し，それを基に「使用物品」を状態とする入浴行動毎の HMM （物品 HMM）を構築した．使用物品列の情報を入力としてすべての入浴行動
HMM で確率計算を行い，その中で確率の高いものを個別行動の推定結果として扱う（前段処理）．さらにこの適用
法 2 では，調査データから入浴行動の順序も抜き出して，その「入浴行動」を状態とする HMM（行動 HMM）を構築し，先の個別行動の推定結果を基に行動順序の確率を求め，最も高いものを行動列の推定結果とする（後段処理）．
これは，適用法 1 が，各行動に対する使用物品列のセグメンテーションを考慮しない処理であるのに対し，入浴行動に対する使用物品列のセグメンテーションが既知であることを仮定した処理と言える．しかし実際には RFID を基にした使用物品列のセグメンテーションは既知ではないため，物品列から得られるすべてのセグメンテーションパターンに対して前段処理，後段処理を行うこととなる．これらの組合せを考慮すると，この適用法 2 における計算時間は物品列の数と共に指数関数的に増加する欠点がある．
一方で，この適用法は行動毎に推定を行うため，入浴行動の取りこぼしが少なくなることが期待でき，入浴行動の流れをより良く推定できると考えられる．
この適用法 2 に対する調査データ 1 での前段処理結果を
表 7 に，調査データ 2 での前段処理結果を表 8 に示す．第一候補だけでは確実な推定が行えないことから，これらの表は複数候補の計算結果を載せている．
表 7 の調査データ 1 の結果からは「かけ湯」行動の場合に，第一候補の推定率が 60%と他に比べてかなり低い値となっているのに対し，第 2 候補までを考慮すると 100%の推定率となる．また，表 8 の調査データ 2 に対する結果を見ると，「かかり湯」の推定率が第七候補にならないと100%ではないという問題が起こっている．前述の通り，
この適用法では前段処理で全てのセグメンテーションを探索し，後段ではそれら結果の組合せすべてで処理を行う
ので，「かかり湯」のような第七候補まで処理すると計算時間の問題が発生する．そのため，表 7, 8 を参考にほぼ90%以上の推定率が得られている第二候補のデータを基

Table 8推定率(%)(左から第一候補)
60
100
10010097.06
100100100100100

表8 物品 HMM の推定率(調査データ 2)
Estimation Rate of Item HMM(Questionnaire Data 2)
推定率(%)(左から第一候補)

HMM
かけ湯
身体を洗う
顔を洗う
髪を剃る
クレンジング
かかり湯
シャワーを浴びる
浴槽につかる

98.46
93.857091.67
87.5
86.27
100
100

その他

100

98.46
99.23
95
91.67
91.67
86.27

98.46
99.23
97.5
100
10086.27

10099.23
100

10086.27

86.27※掛かり湯は第七候補で 100%使用された物品列

前段処理

セグメンテーション
組み合わせ作成
セグメンテーション毎の物品列

各行動の物品HMM

各セグメンテーションの上位2つの行動

best2の組み合わせ作成

上位2つの行動から組み合わされた行動列

全体行動HMM
後段処理推定された行動列

図3 適用法 2 の流れ
Fig.3
Stream of Method 2

に計算する Best2 方式を採用して，後段処理を行うこととした(図 3)．その結果を表 9 に示す．
表9 適用法 2 における推定率の平均と標準偏差Table 9 Estimation Rate Using Method 2
調査データ
調査データ 1
調査データ 2

一致率76.81%(9.14%)
66.24%(15.48%)

類似率
93.68%(8.04%)
73.31%(15.47%)※()内は標準偏差表 9 を見ると，適用法 1 に比べて調査データ 1 の類似率が向上している．適用法 1 では，使用物品列のみによる行動推定のため，物品によっては行動推定が頻繁に変化する場合があるのに対し，適用法 2 では行動列に注目していることから，行動推定が頻繁には変わらずうまく推定できていると考えられる．
一方で，他の推定率は低下しており，一致率が両調査データとも低いのが目立つ．その理由を考察すると，例えば使用物品列 "abcdef" に対する推定行動列として "ABC"が推定された時に，物品列に対するセグメンテーションが，"abc/de/f" や "a/bcde/f" と別であるのに同じ行動列として推定する場合がある．後段処理の行動 HMM は，あくまで行動のみを確率値として返すので，どのセグメンテーション分けが尤もらしいのかを判断しないことが要因である．
また，調査データ 2 に対する適用法 2 の類似率が適用法 1よりも低い結果となったことは，前段処理による間違ったセグメンテーションに対しても後段処理が行われ，行動HMM が推定を誤ったことが原因だった．このことから，調査データ 2 のような不特定多数の浴室環境に基づくデータを用いた場合，適用法 2 は有効に働かないと言える．
このことから，様々な浴室環境を想定したモデルを構築する際には，学習データの偏りをなくすことが必要と考えられる．また，入浴行動の偏りのない学習データを作ることは，入浴行動についてより詳しく解析することが必要になるとも言える．
3.3
適用法 3
適用法 3 では，ある浴室を想定した推定，ある人の行動だけを想定した推定といった局所性のある推定を試みた．
ここでは適用法 2 に追加して入浴行動コーパスを導入した推定を行う．適用法 2 では，後段処理にて行動 HMM による全体の行動の流れを推定する処理を行うが，適用法 3
ではその処理に加え入浴行動コーパスとの比較を動的計画法によるマッチング処理を行い，尤度最大を行動推定の解とすることにした．コーパスは調査データ 1，2 の実行動を基に作成した．適用法 3 の結果を表 10 に示す．
表10 適用法 3 における推定率の平均と標準偏差Table 10 Estimation Rate Using Method 3
調査データ
調査データ 1
調査データ 2

一致率92.76%(7.85%)
72.87%(14.68%)

類似率
95.39%(6.97%)
76.02%(14.97%)※()内は標準偏差

表 10 を見ると，適用法 2 の結果(表 9)と比べて，全体的な推定率の向上が見られた．調査データ 1 での一致率が約16%向上となっている．これはコーパスによって使用物品の適切なセグメンテーションが設定されたことが要因である．調査データ 2 でも一致率，類似率共に向上しているが，調査データ 1 に比べて共に低い値のままである．これは調査データ 2 が様々な浴室環境のデータ集合であることから，局所性のない行動データをコーパスとして用いていることが要因だと考えられる．逆に，調査データ 1で推定率が大幅に向上したのは，浴室環境が統制されており，局所性があったからだと考えられる．これらの考察から，コーパスはある場面のみでの適合性を重視した推定に有効に働くと考えられる．
4.

各適用法に対するオープンテスト

前章の各適用法の処理結果は調査データすべてをHMM の学習データとして用いて，推定処理にも適用するクローズテストの形式であった．しかし実際には学習データに対して未知のデータを処理する必要があることから，本章では，前章の適用法に対して，オープンテストとして入浴行動推定を行い，未知データの推定について検証する．
ここでは，調査データの一部から十分学習できたと推測できるデータ数で HMM の学習に用い，残りを未知データとして検証目的の推定処理を行う．未知データの推定問題を解くため，Baum-Welch アルゴリズムを，10 回を上限にパラメータが収束するまで行った．
4.1
調査データ 1 のオープンテスト
調査データ 1 を用いた適用法 1 について，学習データ数に対する一致率のグラフを図 4 に示す．

図4 調査データ 1 における学習データと推定率
Fig.4
Learning Data and Estimation Rate from
Questionnaire Data1
図 4 より，十分学習できているという学習数を 30，未知データ数を 14 とした．このデータセットを「未知デー
タ 1」とし，適用法 1～3 を適用した結果を表 11 に示す．
表11 未知データ 1 による推定率の平均と標準偏差Table 11 Estimation Rate Using Unknown Data1
適用法
適用法 1
適用法 2
適用法 3

一致率
74.03%(6.52%)
79.01%(6.24%)
80.66%(11.23%)

類似率
76.02%(9.08%)
86.53%(7.74%)
87.40%(7.08%)※ ()内は標準偏差未知データ 1 では，これまで行ってきたクローズドデー
タと比べて，どの適用法も 10％前後推定率が低下した．
十分学習できているとはいえない状態でモデルを構築したことが原因と考えられる．
4.2
調査データ 2 のオープンテスト
調査データ 2 を用いた適用法 1 について，学習データ数
に対する一致率のグラフを図 5 に示す．

シャワーフック壁裏

床下図5 調査データ 2 における学習データと推定率
Fig.5
Learning Data and Estimation Rate from
Questionnaire Data2

カウンタ下部

Fig.6
このグラフより，十分学習できているという学習数を80，未知データ数を 23 として推定を行う．このデータセットを「未知データ 2」と定義し，適用法 1～3 を適用した結果を表 12 に示す．
表12 未知データ 2 による推定率の平均と標準偏差Table 12 Estimation Rate Using Unknown Data2
適用法
適用法 1
適用法 2
適用法 3

一致率
81.18%(21.19%)
69.41%(17.01%)
71.76%(13.96%)

類似率
85.99%(16.73%)
74.45%(23.17%)
71.23%(20.69%)※ ()内は標準偏差前章で述べた調査データ 2 の結果と比べると，適用法 1，2 では推定率が若干向上し，適用法 3 では推定率は低下した．しかし，低下の割合は 6~7%程度であり，十分な学習数を得ることができれば，未知データに対してもクローズテストと同程度の推定が行えると考えられる．
これらの結果から，入浴行動推定に未知データが対象であってもある程度の推定が行えると言える．ただし，そのために十分な学習データを用意し，HMM を構築する必要がある．
5.

RFID システムと模擬動作による入浴行動推定の試み

次に，我々が構築した浴室用 RFID システム[3]を用いて，被験者による模擬入浴行動で得られた使用物品列から行動推定した結果について述べる．前章までのデータはビデオやアンケートから書き起こされたものであるのに対し，本章では RFID の読み取りデータを基に処理を行う．これは，RFID の性質上，読み取りミスが発生して，得られる使用物品列に誤りを含む可能性があることから，RFID システムの動作検証も兼ねた行動推定の試みと言える．
5.1
実験環境
図 6 に示す YAMAHA 製 AX1616 を被験者実験用浴室として用いた．この浴室は，半分の面積が浴槽であり，残りが床となっている．床部分に接する壁には照明，鏡，シャワーフック（上下 2 ヶ所），シャワーとカランの複合水栓，洗面器が置けるカウンタ，シャンプーなどを置く棚がある．
この浴室のシャワーフックの壁裏，カウンタ下部，および床下に RFID 用の読み取りアンテナを設置している（図 6丸部分）．また，浴室物品(シャワーヘッド，シャンプーボトルなど)には RFID タグを取り付けている．

図6 実験用浴室
An Bathroom for Experiments

5.2
実験概要
被験者が模擬入浴動作で RFID タグ付きの物品を手に取ると，タグが RFID リーダの読み取り範囲から外れて読み取れなくなる．この状態を物品を使用したと検出する．ただし，3 回連続で読み取れなかった場合に物品使用として検出することにし，連続 2 回までの読み取りミスは許容させた．また，被験者の模擬動作はビデオ撮影も行い，そのビデオを基に実行動も書きとめ RFID 情報を基にした推定結果と比較する．
5.3
RFID データを基にした入浴行動推定
被験者は 9 名(男性 8 名，女性 1 名，年齢 20～25 歳)で模擬入浴動作による実験を行った．また，この被験者実験は調査データ 1 と同じ環境で行ったことから，推定処理のHMM は調査データ 1 から作成したものすべてを利用し，今回の被験者 9 名ぶんを未知データとして推定処理を行った．各適用法における結果を表 13 に示す．
表13 RFID データにおける推定率の平均と標準偏差Table 13 Estimation Rate Using RFID Data
適用法
適用法 1
適用法 2
適用法 3

一致率
57.94%(17.50%)
63.55%(11.21%)
59.81%(16.57%)

類似率74.68%(10.77%)
80.98%(13.12%)
71.21%(11.26%)※()内は標準偏差4.1 節の未知データ 1 と比べると全体を通し約 2～20%程度推定率が低下した．これはタグの読み取りミスによって実際は物品を使用していないのに使用したと誤った検出がされ，その情報も含めて推定したことが誤推定の原因である．
また，適用法 1 に対して適用法 2 の推定率が高いのは 3章，4 章の結果からも予想できることだが，適用法 3 が適用法 2 に対して推定率が下がっている．この原因については，今のところ明確ではないので今後の検討課題とする．
今回の実験で確認できたことは，HMM によって柔軟に行動推定ができる一方，タグの読み取り誤りに起因する誤推定は，入浴行動の特徴として処理される可能性がある，ということである．このことから，入浴行動推定は使用物品の履歴を基にした推定率向上の他に，RFID の読み取り精度を向上させてより正確な情報として推定処理に利用する必要があると言える．

6.

おわりに

本研究では，入浴者が使用した浴室物品の種類や履歴から「頭を洗う」といったメタレベルの行動推定を行う手法について検討し，実験を行っている．本報告では，入浴者が使用した物品を基に HMM を用いた入浴行動推定手法について述べた．ここでは 3 つの HMM 適用法を示し，模擬行動やアンケートによるデータで処理を行ったところ，HMM による入浴行動推定はある程度可能であるという結果が得られている．しかし，物品の使用情報を RFID で取得する場合，RFID の性質上，読み取りミスなどの要因で，履歴に誤りを持つことがあり，5 章の結果から誤った情報を含む場合に推定率が低下することも確認できた．そのため，RFID システムの改良を行って，より精度の高いデータ取得ができるようにする必要がある．一方で，適用
法 3 の入浴行動コーパスは，様々な人や浴室環境について収集したデータだが，個人や環境を特定したコーパスを用いると，その個人 or 環境に対する行動推定がより良くなると考えられる．今後は，適用法および HMM 構成を改良することでより推定率を向上させると共に，リアルタイム処理へ向けた処理の高速化手法についても取り組んでいく予定である．
参考文献
[1]

[2]
[3]
[4]

[5]

[6]

[7]

平井, 藤井, 左近田, 井口: 新たなアメニティ空間を目指した浴室－入浴状態を音で表現する風呂システム, ヒューマ
ンインタフェース学会論文誌,Vol.6, No.3, pp.287-294 (2004)
林, 大西, 平井: 一般住宅浴室におけるミストを利用した立体的映像表現, EC2007, pp.75-76 (2007)
大西，平井: RFID を用いた浴室内行動計測の基礎検討, 情報処理学会論文誌 Vol.49, No.6, pp.1932-1941 (2008)
西田,木村: ベイズ推定における事前分布のグラフ構造モデ
リングと実生活行動理解, 情報処理学会論文誌, Vol48, No.
SIG9, pp.43-56 (2007)
T. Mori, K. Tsujioka, M. Shimosaka, and T. Sato: Human-likeAction Recognition System Using Features Extracted by Human,
Proc. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems,
pp.1214-1220 ( 2002 )青木, 大西, 小島, 福永: HMM による行動パターンの認識,
電子情報通信学会論文誌, Vol.85-D-II, No7, pp.1265-1270(2002)
青木, 岩井, 大西, 小島, 福永: 人物の位置・姿勢に注目した行動パターンの学習・認識と非日常状態検出への応用,
電子情報通信学会論文誌, Vol.J87-D-II, No5, pp.1083-1093(2004)