The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013

2F4-OS-04-7

机上にかかる圧力を利用したユーザ状態推定
Estimating a User State by Using Tabletop Pressure∗2

国立情報学研究所

National Institute of Informatics

谷尭尚∗2

山田誠二∗1∗2∗3

Takahisa TANI

Seiji YAMADA∗1

総合研究大学院大学

The Graduate University for Advanced Studies∗3

東京工業大学Tokyo Institute of Technology

In order to realize adequate information notiﬁcation to a user in desk work, a system needs to determine thesuitable timing to notiﬁcation by estimating a use state correctly. In this paper, we propose a novel method toestimate a user state with tabletop pressure. We use a lattice-like pressure sensor sheet on a desk, and estimate
user’s state: interruptible or not. This pressure can be measured without load to a user and it includes useful
information including changes of in the pressure of key-typing, an arm, a mug, and so on. We carefully develop
features which can be determined by the sensed data and apply a classiﬁcation learning method to identify userstates. Finally we conduct preliminary experiments to evaluate our method and obtain promising results.

1.

はじめに負荷や，センサ自体の煩わしさなどが問題になる．
そこで本研究では，机上にかかる圧力を利用した新たなユーザ状態推定手法を提案する．PC を用いる作業において，机上にはキー入力の押圧や腕を乗せた際の力，マグカップの重さなど様々な圧力が加わっている．無意識が力の強弱に影響を与えるという研究結果がある [Aravena 12]. そのため，それらの大きさと変化，すなわちキー押圧の強弱，腕に体重を乗せる度合いや位置，マグカップの中身の減り方などには，ユーザ状態を推定するために有用な情報が含まれていると考えられる．例えば，人は熱中すれば自然と力が入り，キー押圧も普段より強い力で行ったり，飲み物を口にする頻度が下がったりすることが考えられる．作業に集中している間は前傾姿勢になるという報
告 [木村 11] から，集中時は非集中時に比べ，腕に体重を多くのせていることも考えられる．
また，机上にかかる圧力の測定はユーザにセンサを取り付ける必要がなく，顔撮影のように個人情報を扱うものでもないため，ユーザに物理的，心理的負荷を与えることなく測定することができる．
本研究は，机上にかかる圧力によってユーザ状態推定が行えるか否かを明らかにすることを目的とする．これにより，ユーザ状態推定手法に新たな方法を与える．

近年の情報化社会において，ユーザは多くの情報通知 (information notiﬁcation) の中で仕事や生活をしている．その例として，メールやインスタントメッセージなどの着信，様々なアプリケーションの Update などのアラートが挙げられる．これらの情報通知は，ユーザが能動的に情報を入手するのではな
く，システムがユーザに対して情報を提示する形式を取る．ここで生じる問題として，情報通知タイミングの妥当性が挙げられる．情報通知のタイミングが適切でなければ，ユーザに不要なストレスを与えることになる他，知的生産性が低下する可能性が指摘されている [Bailey 01]．そこで，ユーザの状態を考慮した情報通知の制御が必要となる．つまり，ユーザが情報通知を受理できる割り込み可能状態 (interraptable state) であるかどうかを推定し，その状態のときに情報を通知することが望ましい．
また一方，ユーザの割り込み可能状態を推定しないアプロー
チもある．ペリフェラルディスプレイ [Williams 95] がそのようなアプローチの典型であるが，本研究では，情報通知以外の目的にも適用するこを想定して，ユーザ状態を推定する方法を採用する．
ユーザ状態推定のためにはユーザを観測することが必要である．キーやマウスの入力の頻度やタイミングを用いるユーザ状態推定法が提案されている [Epp 11] しかしこの手法では，入力の頻度が必ずしもユーザの繁閑を反映していない場合に情報提示タイミングの推定に利用できないことや，ユーザが入力装置を利用していない場合には推定できないなどの問題がある．
また，PC 作業の切れ目度合いを推定する手法 [Iqbal 08] や，アプリケーションの切り替えタイミングを用いる手法 [田中 10]も研究されている．しかし，web 閲覧等のアプリケーションを切り替えない作業には適用できない．他に，各種センサを利用したユーザの作業の種類に基づく忙しさの推定に関する研究やWeb カメラを用いてユーザの表情や姿勢を撮影し推定に用いる研究があるが [Fogarty 05] 顔の撮影やセンサをユーザに取り付けることは，観測されていることに対するユーザの心理的2.

圧力センサによるユーザ状態推定

2.1

圧力センサ

机上にかかる圧力を測定するため，机上に格子状に測定点を持つ圧力センサシートを敷く．これにより平面上の圧力分布を測定する．キーボード等机上に置く物は全てこのセンサシート上に置き，作業もシート上で行う．主にキーボードのタイピ
ング圧力を計測するためには，センサシートの大きさは 1m 四方程度，圧力分解能は 10g 程度が必要である．
これを満たす圧力センサシートとして，本研究では図 1 に示す LL センサ ((株) シロク) を利用する．これは相互誘導を利用した圧力センサシートで，静電式や抵抗式と比較して大面積のセンサを低価格に実現できる特徴がある．また，圧力分解能は使用する弾性材により調整可能であり，既にキー押圧の強弱検知が可能なように調整済みである．センサ出力の例を図 2に示す．この図では，出力値の低い方から順に白，青，緑，赤，黒に着色してある．この例ではセンサシート上にキーボードを連絡先: 総合研究大学院大学 複合科学研究科 情報学専攻〒 101-8430 東京都千代田区一ツ橋 2-1-2
E-mail: tani@nii.ac.jp1

The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013(a) タイピング

図 1 LL センサ(b) マウス操作

図 3 2 つのタスクにおけるタスクウィンドウ

図 4 情報通知ダイアログ
実験では，高精度のアルゴリズムとして Random Forestsと SVM(Support Vector Machine) の 2 つと，従来からよく用いられる C4.5Random Forests と SVM は C4.5 より高い精度が得られることが予想されるが，C4.5 は学習結果が決定木で得られるため，可読性が高い．

図 2 LL センサの出力配置しタイピングを行なっている．楕円で示した部分に腕が，四角で示した部分にキーボードが置かれていることが見て取れる．

2.2

特徴量抽出

次に，圧力データから特徴量を抽出する．特徴量は，前述のようなキー押圧や乗せている物体の重さ，位置，それらの変化などといったものである．
本研究では，机上にはキーボードとマウス，ユーザの腕のみが置かれると仮定する．ただし，将来的には本やマグカップなど，多くの物体が置かれた環境に適用できると考えられる．
また，実験ではタイピングとマウス操作のそれぞれについて典型的なタスクを使用する．また，腕から得られる情報は重要であると考えられる．
以上のような考察から，本研究では以下の 24 個の値を特徴量として使用する．キーボードの左奥足・右奥足・手前足，マウス，ユーザの左腕・右腕の計 6 個の圧力それぞれに対し，圧力値，面積，重心の x 座標，重心の y 座標の 4 個のパラメータを抽出する．
元の圧力データから特徴を抽出するために，単純なパターンマッチングアルゴリズムを使用した．事前にキーボードとマウスそれぞれのテンプレートを任意に選択し，正規化する．そして，テンプレートで圧力データ全体を走査することで，テンプレートに対応する領域を抽出する．
また，左右の腕の位置を得るために，データ全体を右下及び左下から走査し，しきい値を使用して領域を抽出する．その後，各領域に対し，圧力，面積，重心を算出する．
圧力データは 30ms 毎に 1 フレーム得られる．また，特徴は割り込みの 1 秒前から 9 フレーム分のデータを平均して使用する．

2.3

3.

実験方法

3.1

実験環境とタスク

本研究ではユーザが PC を利用したデスクワークをしている環境を想定するが，本実験ではできるだけ一般的で単純化したデスクワーク環境とタスクを構築した．
タスクは，PC によるデスクワークとして考えられる典型的なタスクとして [Iqbal 08] タイピングタスクとマウス操作タス
クの 2 つを用意した．タイピングタスクは，画面中段をスクロールする文字列をできるだけ正確に書き写すタスクである(図 3(a))．スクロール速度を変化させることにより，タスクの負荷を調整する．タイピング中，割り込みを許容するか否かを尋ねるダイアログ (図 4) が 20 秒間隔で表示される．参加者は用意された 2 つのフットスイッチのうち，許可 (accept) なら左のフットスイッチを，拒否 (reject) なら右のフットスイッチを押すことで回答する．
マウス操作タスクは，図 3(b) の画面を使用し，青く四角いマーカをクリックするタスクである．マーカは一定周期 (数秒間隔) でランダムな位置に表示され，次の四角が表示されると同時に消える．消えるまでにクリックに成功すると，色が赤に変化してから消える．表示周期を変化させることにより，タスクの負荷を調整する．クリックした位置と時刻は四角の内外に関わらず全て記録される．タイピングタスクと同様にダイアロ
グが表示される．

3.2

参加者と実験手順

参加者は情報学専攻の大学院生と研究所職員の 20 名 (23歳?54 歳，平均 33.7 歳，標準偏差 9.9 歳，男性 9 名，女性 11名) であった．
許可と拒否の両方のデータを得るために，メインタスクの負荷が高いフェーズと低いフェーズが必要である．負荷が高い

推定方法

特徴抽出後，分類学習により割り込み可能か否かを分類する．

2

The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013

表 3 時系列データを使用した場合の推定精度表 1 データの例 (左腕)

Area
7.6
4.9
3.7
15.1

Pressure
20.9
24.6
8.8
22.4

COGx
2.8
1.9
3.0
12.1

COGy
20.1
20.8
39.0
16.5

TP Rate [%]Classaccept
rejectacceptrejectTP Rate [%]タイピング マウス操作
76.8
72.3
75.8
69.6
71.7
71.6

全体
73.6
73.1
71.3

5.2

表 1 に得られた特徴量のうち左手に関するものの例を挙げる．得られたデータ数は全体で 1199 個 (許可 722，拒否 477)，
内タイピングタスクは 600 個 (許可 333，拒否 267)，マウス操
作タスクは 599 個 (許可 389，拒否 210) である．許可と拒否のデータ数に大きな差が見られなかったため，under-sampling[Drummond 03] は適用しなかった．
次に，得られたデータを訓練データとして 3 つの分類学習に与え，10-fold cross validation を行った．実験結果のうち精度を図 2 に示す．ここで TP Rate は正しく分類された訓練データの割合である．
表から，タイピングタスク，マウス操作タスク，両タスク総計のいずれの条件でも，SVM が最も高い精度を達成していることがわかる．そのため，本研究では SVM を適用すべきである．

考察

5.1

机上の圧力を用いた状態推定の評価

1s,1s-2s

1s-2s

SVM

76.8
73.2
68.5

74.3
73.2
68.7

74.0
66.7
61.2

57.0
61.2
55.5

非タイピング時における状態推定

提案手法では，ユーザがタイピングやマウス操作を行なっていない間は机上の圧力に変化がないため，ユーザが手を動かして居ない間は推定できない．そこで本研究では，ユーザが手を動かして居ない間は割り込み可能であると仮定している．
しかし実環境ではそのような仮定は成立しない．例えば，考え事，ウェブページ閲覧，動画鑑賞など，手を動かしていない間でも割り込み不可能な状態が存在する．この問題に対する解決法として，特徴を拡張することが考えられる．例えばマグカップの重量や，腕を机上に置いた際の形状などの特徴を追加することが簡単にできる．これらは圧力センサで取得可能な情報である．ユーザが集中状態にあれば，マグカップを頻繁に取り上げなくなる，腕の位置を変えなくなるなどの現象が予想されるため，これらの特徴により机上の圧力による解決が期待できる．

実験結果

5.

1s,2sめる結果だと言えるだろう．また，提案手法はコンピュータビ
ジョン [Fogarty 05] やタイピングパターン [Epp 11] を利用した既存の手法とモダリティが干渉しないため，それらと組み合わせた利用が可能である．
表 2 において，マウス操作タスクの推定精度はキーボードタスクより低い．この原因として，キーボードの足の押圧に比べ，マウスの押圧は LL-Sensor で測定しづらい可能性や，マウスの押圧変化が少ないことなどが考えられる．マウス操作タスクについて推定精度を向上することは，今後の重要な課題である．

フェーズでは，メインタスクに集中する必要があるため，参加者は通知を拒否し，負荷が低いフェーズでは，メインタスクに集中する必要がないため，参加者は通知を許可することが予想されるからである．そこで各参加者に対し，タイピング能力やマウス操作能力に応じて，実験に入る前に負荷調整を行った．
各参加者に対し，2 つのタスクをそれぞれ 2 回試行，すなわち計 4 試行とした．各試行では，1 分を 1 フェーズとして負荷が高いフェーズと低いフェーズを織り交ぜ，5 フェーズ行った．各フェーズ中，20 秒間隔で 3 回通知を行った．総計で 20分間タスクを行うことになる．
分類学習の実装として，weka3.5.4∗1 で Random Forests，LibSVM(RBF kernel，γ = 0.0，J48(conﬁdence factor =0.25) を使用した．

4.

1s

Random Forests
C4.5

表 2 3 つの分類学習アルゴリズムの精度 (下線が最良)学習アルゴリズム
SVMRandom Forests
C4.5

学習アルゴリズム

5.3

時系列と精度圧力の時間変化にユーザ状態推定に有用な情報が含まれているか検証するために，時系列上のデータを複数，及び差分を与えて推定を行った．その結果の一部を表 3 に示す．ここで，各数字は情報通知と使用したデータとの時間差を表し，”-”はその差分をデータとして使用していることを表す．すなわ
ち，”1s,1s-2s”とは，情報通知の 1 秒前のデータと，1 秒前と2 秒前のデータの差分 (24*2=48 特徴量) を与えている．1 秒前の推定精度は表 2 の SVM の結果と同一である．いずれも当初の精度を上回ることはなく，圧力の時間変化にはユーザ状態推定に有用な情報は乏しいか存在しないことがわかった．一方，時系列データを使用せず，情報通知からの時間差を 30msから 10s の間で変化させた結果，各アルゴリズムでの最高精度
は，Random Forests は 200ms で，C4.5 は 5s で，いずれも74.8%となった．これらは SVM には及ばないが，学習アルゴリズム毎に調整を行うことで精度が向上する可能性を示唆している．

実験の結果，タイピングタスクでは約 77% ，マウスタスク
では約 72% の精度でユーザの割り込み可能性を推定することができた (表 2)．職場でのデスクワークの大半は文書作成であると考えられるが，タイピングタスクの結果は約 77% とかなりの高精度であった．机上の圧力を用いた状態推定に関する初歩的な研究として，約 77% という精度は十分将来性を見込

5.4

実用に向けての特徴選択提案手法の有効性を確認できたが，LL-Sensor は微小な圧力センサを格子状に持つ特殊なセンサで，高価である．従って実用にはコストが問題となる．この問題の解決法として，小さく安価な圧力センサを使用することが考えられる．小さなセンサはキーボードの 3 つの足とマウスの底面に容易に取り付ける∗1 http://www.cs.waikato.ac.nz/ml/weka/

3

The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 20136.

表 4 局所的にセンサを配置した場合の推定精度

本研究では，ユーザの割り込み可能性について状態推定を行うため，机上の圧力を用いた新たな手法を提案した．2 つの典型的なデスクワークタスク中に情報通知を与える参加者実験を行い，提案手法の有効性を示した．また，提案手法の精度と実用性に関して考察した．
今後の課題として，実環境に適用するため，より高度な特徴量を利用することが挙げられる．これにより，精度の向上と非タイピング時における推定を可能にできる．そのために，有効な特徴を模索する．また，より多くのデータを収集し，実験の正確性を高める．

TP Rate [%]選択された特徴

タイピング

マウス操作

全体

キーボードの圧力

74.7–
75.8
76.8

–
64.3
70.0
72.3–
–
69.8
73.6

マウスの圧力キーボード圧+マウス圧

全ての特徴量むすび80᥎ᐃ⢭ᗘ[%]

70

参考文献
6050400[Aravena 12] Aravena, P., Delevoye-Turrell, Y., Deprez, V.,
Cheylus, A., Paulignan, Y., Frak, V., and Nazir, T.:
Grip Force Reveals the Context Sensitivity of LanguageInduced Motor Activity during Action Words Processing: Evidence from Sentential Negation, PLoS ONE,Vol. 7, No. 12, p. e50287 (2012)඲≉ᚩ㔞(=76.8%)┤⥺ࡢ≉ᚩ㔞

1020
ᮘࡢᡭ๓࠿ࡽࡢ㊥㞳[cm]30[Bailey 01] Bailey, B. P., Konstan, J. A., and Carlis, J. V.:
The Eﬀects of Interruptions on Task Performance, Annoyance, and Anxiety in the User Interface, Proceedings
INTERACT 01, pp. 593–601, IOS Press (2001)

図 5 直線状にセンサを配置した場合の推定精度ことができる．この手法で LL-Sensor を使用した場合と同等の精度で状態推定が可能ならば，提案手法はより実用的なものとなる．
そのような手法は，実験で使用した 24 の特徴量のうち，キーボードやマウスが机上に与える圧力の特徴量だけを用いて推定することにより，擬似的に評価できる．SVM によって上記の特徴量から推定した結果を表 4 に示す．タイピングタスク，マウス操作タスクのそれぞれについて，キーボードとマウスの特徴量だけを用いた場合と，全ての特徴量を用いた場合で，ほぼ同等の精度が得られたことがわかる．一方，2 つのタスクを合わせた場合，大きな差が現れる．
また，他の特徴選択の方法として，圧力センサを平面全体に敷かず，例えば机の手前から 5cm の位置に直線上に配置する手法が考えられる．そのような手法は，実験で得られた平面のデータから，直線上にあるセンサを抽出することで擬似的に評価できる．ここで，抽出する特徴量は次の 4 つとした．

[Drummond 03] Drummond, C. and Holte, R.: C4.5 andclass imbalance and and cost sensitivity: why undersampling beats over-sampling, in Workshop on Learningfrom Imbalanced Datasets(ICML0́3), pp. 0–0 (2003)[Epp 11] Epp, C., Lippold, M., and Mandryk, R.: Identifying Emotional States Using Keystroke Dynamics, inProceedings of the 2011 Annual Conference on Human
Factors in Computing Systems (CHI 2011), pp. 715–724,
Vancouver, BC, Canada (2011)[Fogarty 05] Fogarty, J., Hudson, S. E., Atkeson, C. G.,
Avrahami, D., Forlizzi, J., Kiesler, S., Lee, J. C., andYang, J.: Predicting human interruptibility with sensors, ACM Transactions on Computer-Human Interaction, Vol. 12, No. 1, pp. 119–146 (2005)[Iqbal 08] Iqbal, S. T. and Bailey, B. P.: Eﬀects of intelligent notiﬁcation management on users and their tasks,
in Proceedings of the twenty-sixth annual SIGCHI conference on Human factors in computing systems, CHI ’08,
pp. 93–102, New York, NY, USA (2008), ACM• 圧力が掛かっている範囲 (長さ)• 圧力が掛かっている箇所 (腕が 2 本あれば 2 箇所，など)• 重心• 圧力の平均値
この手法を用いてタイピングタスクについて SVM を用いて状態推定した場合の推定精度を図 5 に示す．ここで，実線は24 特徴量全てを使用した場合で，表 2 のタイピングタスクをSVM を用いて推定した場合，破線は表 4 のタイピングタスクをキーボード圧とマウス圧で推定した場合と，それぞれ同一である．全ての特徴量を用いた場合と比較して若干劣るが，局所的にセンサを配置した場合とほぼ同等の精度が得られたことがわかる．一部で極端に精度が落ちているが，これは圧力が加わらず欠損となったデータが多いことが原因と考えられる．

[Williams 95] Williams, L. J.: Peripheral target recognitionand visual ﬁeld narrowing in aviators and nonaviators.,
Int J Aviat Psychol, Vol. 5, No. 2, pp. 215–32 (1995)[田中 10] 田中 貴紘, 松村 京平, 藤田 欣也：利用アプリケーション切り替え時に着目したユーザの割り込み拒否度推定法の検討, 人工知能学会論文誌, Vol. 25, No. 6, pp. 683–693(2010)[木村 11] 木村 和行, 田中 貴紘, 藤田 欣也：頭部の前後・回転運動に着目したデスクワーク中の割り込み拒否度と頭部運動の関係の分析, 情報処理学会論文誌, Vol. 52, No. 4, pp.
1485–1494 (2011)4