机上にかかる圧力のユーザ状態推定への利用
Applying Key Typing Pressure
to Estimate a User’s State of Activity
谷尭尚 1∗
Takahisa Tani1

山田誠二 1,2,3
Seiji Yamada1,2,3

総合研究大学院大学
The Graduate University for Advanced Studies2
国立情報学研究所
2
National Institute of Informatics
3
東京工業大学3
Tokyo Institute of Technology
11

Abstract:
A user working with his/her desktop computer would beneﬁt from notiﬁcations(e.g., e-mails, micro-blogs, and application updates) being given at adequate times when he/she
is interruptible. To do so, a notiﬁcation system needs to determine the user’s state of activity.
In this paper, we propose a novel method for estimating user states with a pressure sensor on adesk. We use a lattice-like pressure sensor sheet and distinguish between two simple user states:interruptible or not. The pressure can be measured without the user being aware of it, and changes
in the pressure reﬂect useful information like typing, an arm resting on the desk, mouse operation,and so on. We carefully developed features which can be extracted from the sensed raw data andused a machine learning technique to identify the user’s interruptibility. We conducted experiments
for two diﬀerent tasks to evaluate the accuracy of our proposed method and obtained promising
results.

1

はじめに

近年の情報化社会において，日常的にデスクトップで PC を利用するユーザは多くの情報通知 (informationnotiﬁcation) の中で仕事や生活をしている．情報通知とは，図 1 のような，メールやインスタントメッセー
ジなどの着信，アプリケーションの Update などのアラートを意味する．
これらの情報は，ユーザが能動的に情報を入手するのではなく，システムがユーザに対して情報を提示する形式を取る．ここで生じる問題として，情報提示タイミングの妥当性が挙げられる．情報提示のタイミン
グが適切でなければ，ユーザが作業に集中しているために情報を得ることができない時にその情報が提示されることで，ユーザに不要なストレスを与えることになり，知的生産性が低下することが指摘されている [1]．
このように情報提示により，ユーザの作業の邪魔をすることを避ける方法の 1 つとして，ユーザの作業の∗ 連絡先： 総合研究大学院大学 複合科学研究科 情報学専攻〒 101-8430 東京都千代田区一ツ橋 2-1-2
E-mail: tani@nii.ac.jp

図 1 さまざまな情報通知
繁閑を推定し，適切なタイミングで通知を行うことが挙げられる．具体的にどんな方法すなわち，ユーザが割り込みを許容する状態か否か (割り込み可能性) を判定し，許容状態でのみ通知を行う [11, 12]．
他の手法として，ペリフェラルディスプレイ [8] のよ
うな，状態推定を行わない手法も研究されている．この手法では，サブウィンドウやメインタスクの周辺などの周辺視野領域に通知を表示する．ユーザはメインタスクに集中している間，通知に気付かない．しかし，この手法では通知の位置や大きさ，色などの調整が困難である．また，ユーザ状態を推定する手法は，感情状態推定 [5] など他の用途へ応用できる利点がある．
ユーザ状態推定のためにはユーザを観測することが必要である．例えば，キーやマウスの入力の頻度やタイミングを用いることが考えられる [5]．しかしこの手法では，入力の頻度が必ずしもユーザの繁閑を反映していない場合に情報提示タイミングの推定に利用できないことや，ユーザが入力装置を利用していない場合には推定できないなどの問題がある．他に Web カメラを用いてユーザの顔を撮影し，表情から推定する方法や，生体信号を測定する方法も考案されているが [6]，顔の撮影やセンサをユーザに取り付けることは，ユーザへの心理的負荷が問題となる．
本研究では，机上にかかる圧力を利用した新たなユーザ状態推定手法を提案する．PC を用いる作業において，机上にはキー入力の押圧や腕を乗せた際の力など，様々な圧力が加わっている．それらの大きさと変化，すなわちキー押圧の強弱，腕に体重を乗せる度合いや位置，マグカップの中身の減り方などには，ユーザ状態を推定するために有用な情報が含まれていると考えられる．例えば，人間は集中時に自然と力が入り，キー押下を普段より強い力で行う，飲み物を口にする頻度が下るなどの現象が予想される．
また，机上にかかる圧力の測定はユーザにセンサを取り付ける必要がなく，顔撮影のように個人情報を扱うものでもないため，ユーザに物理的，心理的負荷を与えることなく測定することができる．
そこで本研究では，推定に必要な特徴量を設定し，3つの機械学習アルゴリズムを使用してユーザの割り込み可能性を推定する．そして，代表的なデスクワークとしてタイピングとマウス操作の 2 つのタスクについて，提案手法の精度を評価する．

図 2 LL センサ

図 3 LL センサの出力は相互誘導を利用した圧力センサシートで，静電式や抵抗式と比較して大面積のセンサを低価格に実現できる特徴がある．また，圧力分解能は使用する弾性材により調整可能であり，既にキー押圧の強弱検知が可能なように調整済みである．センサ出力の例を図 3 に示す．この図では，出力値の低い方から順に白，青，緑，赤，黒に着色してある．この例ではセンサシート上にキーボードを配置しタイピングを行なっている．楕円で示した部分に腕が，四角で示した部分にキーボードが置かれていることが見て取れる．

2.22

圧力センサによるユーザ状態推定

2.1

圧力センサ

机上にかかる圧力を測定するため，机上に格子状に測定点を持つ圧力センサシートを敷く．これにより平面上の圧力分布を測定する．キーボード等机上に置く物は全てこのセンサシート上に置き，作業もシート上で行う．主にキーボードのタイピング圧力を計測する
ためには，センサシートの大きさは 1m 四方程度，圧力分解能は 10g 程度が必要である．
これを満たす圧力センサシートとして，本研究では
図 2 に示す LL センサ ((株) シロク) を利用する．これ

特徴量抽出

次に，圧力データから特徴量を抽出する．特徴量は，前述のようなキー押圧や乗せている物体の重さ，位置，それらの変化などといったものである．
本研究では，机上にはキーボードとマウス，ユーザの腕のみが置かれると仮定する．ただし，将来的には本やマグカップなど，多くの物体が置かれた環境に適用できると考えられる．また，実験ではタイピングとマウス操作のそれぞれについて典型的なタスクを使用する．また，腕から得られる情報は重要であると考えられる．
以上のような考察から，本研究では以下の 24 個の値を特徴量として使用する．キーボードの左奥足・右奥足・手前足，マウス，ユーザの左腕・右腕の計 6 個の圧力それぞれに対し，圧力値，面積，重心の x 座標，重心の y 座標の 4 個のパラメータを抽出する．
元の圧力データから特徴を抽出するために，単純なパターンマッチングアルゴリズムを使用した．事前にキーボードとマウスそれぞれのテンプレートを任意に選択し，正規化する．そして，テンプレートで圧力データ全体を走査することで，テンプレートに対応する領域を抽出する．
また，左右の腕の位置を得るために，データ全体を右下及び左下から走査し，しきい値を使用して領域を抽出する．その後，各領域に対し，圧力，面積，重心を算出する．
圧力データは 30ms 毎に 1 フレーム得られる．また，特徴は割り込みの 1 秒前から 9 フレーム分のデータを平均して使用する．

2.3

図 4 実験環境推定方法

特徴抽出後，分類学習により割り込み可能か否かを分類する．
実験では，高精度のアルゴリズムとして random forests[2] と SVM(Support Vector Machine) [10] の 2 つと，従来からよく用いられる C4.5 [9] を使用する．random
forests と SVM は C4.5 より高い精度が得られることが予想されるが，C4.5 は学習結果が決定木で得られるため，可読性が高い．

3

実験方法

3.1

実験環境とタスク

本研究ではユーザが PC を利用したデスクワークをしている環境を想定するが，本実験ではできるだけ一般的で単純化したデスクワーク環境とタスクを構築した．図 4 に実験の様子を示す．
タスクは，PC によるデスクワークとして考えられる典型的なタスクとして [7] タイピングタスクとマウス操作タスクの 2 つを用意した．タイピングタスクは，画面中段をスクロールする文字列をできるだけ正確に書き写すタスクである (図 5(a))．表示される文字はランダムなローマ字文字列で，タイピングされた文字列は画面下段に表示される．押下されたキーはキーコードと時刻を全て記録される．スクロール速度を変化させることにより，タスクの負荷を調整する．タイピン
グ中，割り込みを許容するか否かを尋ねるダイアログ(図 6) が 20 秒間隔で表示される．参加者は用意された
2 つのフットスイッチのうち，許可 (accept) なら左のフットスイッチを，拒否 (reject) なら右のフットスイッチを押すことで回答する．参加者には，食事の誘いの(a) タイピング(b) マウス操作

図 5 2 つのタスクにおけるタスクウィンドウ
ような，緊急性が低い情報が提示されることを想定して可否を決定するよう教示を与えた．回答するとダイアログは消え，メインタスクを再開する．
マウス操作タスクは，図 5(b) の画面を使用し，青い四角をクリックするタスクである．四角は一定周期 (数秒間隔) でランダムな位置に表示され，次の四角が表示されると同時に消える．消えるまでにクリックに成功すると，赤に変わってから消える．表示周期を変化させることにより，タスクの負荷を調整する．クリッ
クした位置と時刻は四角の内外に関わらず全て記録される．タイピングタスクと同様にダイアログが表示される．

図 6 情報通知ダイアログ表 2 3 つの分類学習アルゴリズムの精度 (太字が最良)

表 1 データの例 (左腕)

Area
7.6
4.9
3.7
15.1

3.2

Pressure
20.9
24.6
8.8
22.4

COGx
2.8
1.9
3.0
12.1

COGy
20.1
20.8
39.0
16.5

Class
acceptrejectacceptreject

参加者と実験手順

参加者は情報学専攻の大学院生と研究所職員の 20 名(23 歳〜54 歳，平均 33.7 歳，標準偏差 9.9 歳，男性 9名，女性 11 名) であった．
許可と拒否の両方のデータを得るために，メインタスクの負荷が高いフェーズと低いフェーズが必要である．負荷が高いフェーズでは，メインタスクに集中する必要があるため，参加者は通知を拒否し，負荷が低いフェーズでは，メインタスクに集中する必要がないた
め，参加者は通知を許可することが予想されるからである．そこで各参加者に対し，タイピング能力やマウス操作能力に応じて，実験に入る前に負荷調整を行った．
各参加者に対し，2 つのタスクをそれぞれ 2 回試行，すなわち計 4 試行とした．各試行では，1 分を 1 フェーズとして負荷が高いフェーズと低いフェーズを織り交ぜ，5 フェーズ行った．各フェーズ中，20 秒間隔で 3 回通知を行った．総計で 20 分間タスクを行うことになる．
分類学習の実装として，weka3.5.41 で random forests，LibSVM(RBF kernel，γ = 0.0，J48(conﬁdence factor= 0.25) を使用した．

4

実験結果

表 1 に得られた特徴量のうち左手に関するものの例を挙げる．得られたデータ数は全体で 1119 個 (許可 722，拒否 477)，内タイピングタスクは 600 個 (許可 333，拒否 269)，マウス操作タスクは 599 個 (許可 389，拒否210) である．許可と拒否のデータ数に大きな差が見られなかったため，under-sampling [3] は適用しなかった．
次に，得られたデータを訓練データとして 3 つの分類学習に与え，10-fold cross validation を行った．実験
結果のうち精度を図 2 に示す．ここで TP Rate は正しく分類された訓練データの割合である．
表から，タイピングタスク，マウス操作タスク，両タスク総計のいずれの条件でも，SVM が最も高い精度を達成していることがわかる．そのため，本研究ではSVM を適用すべきである．

1 http://www.cs.waikato.ac.nz/ml/weka/

学習アルゴリズム
SVM
Random forests
C4.5

TP Rate [%]タイピング マウス操作
76.8
72.3
75.8
69.6
71.7
71.6

5

考察

5.1

机上の圧力を用いた状態推定の評価

全体
73.6
73.1
71.3

実験の結果，タイピングタスクでは約 77% ，マウスタスクでは約 72% の精度でユーザの割り込み可能性を推定することができた (表 2)．職場でのデスクワークの大半は文書作成であると考えられるが，タイピングタスクの結果は約 77% とかなりの高精度であった．机上の圧力を用いた状態推定に関する初歩的な研究として，約 77% という精度は十分将来性を見込める結果だと言えるだろう．また，提案手法はコンピュータビジョ
ン [6] やタイピングパターン [5] を利用した既存の手法とモダリティが干渉しないため，それらと組み合わせた利用が可能である．
表 2 において，マウス操作タスクの推定精度はキーボードタスクより低い．この原因として，キーボードの足の押圧に比べ，マウスの押圧は LL-Sensor で測定しづらい可能性や，マウスの押圧変化が少ないことなどが考えられる．マウス操作タスクについて推定精度を向上することは，今後の重要な課題である．

5.2

非タイピング時における状態推定

提案手法では，ユーザがタイピングやマウス操作を行なっていない間は机上の圧力に変化がないため，ユーザが手を動かして居ない間は推定できない．そこで本
研究では，ユーザが手を動かして居ない間は割り込み可能であると仮定している．
しかし実環境ではそのような仮定は成立しない．例
えば，考え事，ウェブページ閲覧，動画鑑賞など，手を動かしていない間でも割り込み不可能な状態が存在する．この問題に対する解決法として，特徴を拡張することが考えられる．例えばマグカップの重量や，腕を机上に置いた際の形状などの特徴を追加することが簡単にできる．これらは圧力センサで取得可能な情報である．ユーザが集中状態にあれば，マグカップを頻繁に取り上げなくなる，腕の位置を変えなくなるなどの現象が想定できるため，これらの特徴により机上の圧力による解決が期待できる．

terface. In Proceedings INTERACT ’01, pp. 593–
601. IOS Press, 2001.

表 3 特徴選択した場合の精度

TP Rate [%]選択された特徴

タイピング

マウス操作

全体

キーボードの圧力

74.7–
75.8
76.8–
64.3
70.0
72.3––
69.8
73.6

マウスの圧力キーボード圧+マウス圧

全ての特徴量5.3

実用に向けての特徴選択

提案手法の有効性を確認できたが，LL-Sensor は微小な圧力センサを格子状に持つ特殊なセンサで，高価である．従って実用にはコストが問題となる．この問
題の解決法として，小さく安価な圧力センサを使用することが考えられる．小さなセンサはキーボードの 3つの足とマウスの底面に容易に取り付けることができる．この手法で LL-Sensor を使用した場合と同等の精度で状態推定が可能ならば，提案手法はより実用的なものとなる．
そのような手法は，実験で使用した 24 の特徴量のうち，キーボードやマウスが机上に与える圧力の特徴量だけを用いて推定することにより，擬似的に評価できる．その結果を表 3 に示す．タイピングタスク，マウス操作タスクのそれぞれについて，キーボードとマウスの特徴量だけを用いた場合と，全ての特徴量を用いた場合で，ほぼ同等の精度が得られたことがわかる．一方，2 つのタスクを合わせた場合，大きな差が現れる．

6

むすび

本研究では，ユーザの割り込み可能性について状態推定を行うため，机上の圧力を用いた新たな手法を提案した．2 つの典型的なデスクワークタスク中に情報通知を与える参加者実験を行い，提案手法の有効性を示した．また，提案手法の精度と実用性に関して考察した．
今後の課題として，実環境に適用するため，より高度な特徴量を利用することが挙げられる．これにより，精度の向上と非タイピング時における推定を可能にできる．そのために，有効な特徴を模索する．また，costsensitive learning[4] の利用を検討する．

参考文献[1] Brian P. Bailey, Joseph A. Konstan, and John V.
Carlis. The eﬀects of interruptions on task performance, annoyance, and anxiety in the user in-[2] Leo Breiman. Random forests. Machine Learning, Vol. 45, No. 1, pp. 5–32, 2001.
[3] C. Drummond and R.C. Holte. C4.5 and classimbalance and and cost sensitivity: why undersampling beats over-sampling. In Workshop on
Learning from Imbalanced Datasets(ICML0́3),
pp. 0–0, 2003.
[4] C. Elkan. The foundations of cost-sensitive learning. In Proceedings of the Seventeenth International Joint Conference on Artificial Intelligence,
pp. 973–978, 2001.
[5] Clayton Epp, Mike Lippold, and Regan
Mandryk. Identifying emotional states using
keystroke dynamics. In Proceedings of the 2011
Annual Conference on Human Factors in Computing Systems (CHI 2011), pp. 715–724, Vancouver, BC, Canada, 2011.
[6] J. Fogarty, S. E. Hudson, C. G. Atkeson,
D. Avrahami, J. Forlizzi, S. Kiesler, J. C. Lee,and J. Yang. Predicting human interruptibility
with sensors. ACM Transactions on ComputerHuman Interaction, Vol. 12, No. 1, pp. 119–146,2005.
[7] Shamsi T. Iqbal and Brian P. Bailey. Eﬀects ofintelligent notiﬁcation management on users andtheir tasks. In Proceedings of the twenty-sixth
annual SIGCHI conference on Human factors incomputing systems, CHI ’08, pp. 93–102, New
York, NY, USA, 2008. ACM.
[8] D. Scott McCrickard, Richard Catrambone, andJohn T. Stasko. Evaluating animation in the periphery as a mechanism for maintaining awareness, 2001.
[9] J. Ross Quinlan. C4.5: programs for machinelearning. Morgan Kaufmann Publishers Inc., SanFrancisco, CA, USA, 1993.
[10] Vladimir N. Vapnik. The nature of statisticallearning theory. Springer-Verlag New York, Inc.,New York, NY, USA, 1995.
[11] 田中貴紘, 松村京平, 藤田欣也. 利用アプリケー
ション切り替え時に着目したユーザの割り込み拒否度推定法の検討. 人工知能学会論文誌, Vol. 25,
No. 6, pp. 683–693, 2010.

[12] 本田新九郎, 富岡展也, 木村尚亮, 大澤隆治, 岡田謙一, 松下温. 作業者の集中度に応じた在宅勤務環境の提供 : 仮想オフィスシステム valentine(＜特集＞次世代ヒューマンインタフェース・インタラクション). 情報処理学会論文誌, Vol. 39, No. 5,pp. 1472–1483, 1998-05-15.