The 26th Annual Conference of the Japanese Society for Artificial Intelligence, 2012

3O1-OS-3a-4

机上にかかる圧力を用いたユーザ状態の推定
Estimating a User State by Using Tabletop Pressure

∗1

谷尭尚∗1

山田誠二∗1∗2∗3

Takahisa TANI

Seiji YAMADA

総合研究大学院大学

The Graduate University for Advanced Studies∗2

国立情報学研究所

National Institute of Informatics∗3

東京工業大学Tokyo Institute of Technology

In order to realize adequate information notiﬁcation to a user in desk work, a system needs to determine thesuitable timing to notiﬁcation by estimating a use state correctly. In this paper, we propose a novel method toestimate a user state with tabletop pressure. We use a lattice-like pressure sensor sheet on a desk, and estimate
user’s state: interruptible or not. This pressure can be measured without load to a user and it includes useful
information including changes of in the pressure of key-typing, an arm, a mug, and so on. We carefully develop
features which can be determined by the sensed data and apply a classiﬁcation learning method to identify userstates. Finally we conduct preliminary experiments to evaluate our method and obtain promising results.

1.

はじめにることに対するユーザの心理的負荷や，センサ自体の煩わしさなどが問題になる．
そこで本研究では，机上にかかる圧力を利用した新たなユーザ状態推定手法を提案する．PC を用いる作業において，机上にはキー入力の押圧や腕を乗せた際の力，マグカップの重さなど様々な圧力が加わっている．それらの大きさと変化，すなわ
ちキー押圧の強弱，腕に体重を乗せる度合いや位置，マグカップの中身の減り方などには，ユーザ状態を推定するために有用な情報が含まれていると考えられる．例えば，人は熱中すれば自然と力が入り，キー押圧も普段より強い力で行ったり，飲み物を口にする頻度が下がったりすることが考えられる．作業に集中している間は前傾姿勢になるという報告 [木村 11] から，集中時は非集中時に比べ，腕に体重を多くのせていることも考えられる．
また，机上にかかる圧力の測定はユーザにセンサを取り付ける必要がなく，顔撮影のように個人情報を扱うものでもないため，ユーザに物理的，心理的負荷を与えることなく測定することができる．
本研究は，机上にかかる圧力によってユーザ状態推定が行えるか否かを明らかにすることを目的とする．これにより，ユーザ状態推定手法に新たな方法を与える．

近年の情報化社会において，ユーザは多くの情報通知 (information notiﬁcation) の中で仕事や生活をしている．その例として，メールやインスタントメッセージなどの着信，様々なアプリケーションの Update などのアラートが挙げられる．これらの情報通知は，ユーザが能動的に情報を入手するのではな
く，システムがユーザに対して情報を提示する形式を取る．ここで生じる問題として，情報通知タイミングの妥当性が挙げられる．情報通知のタイミングが適切でなければ，ユーザに不要なストレスを与えることになる他，知的生産性が低下する可能性が指摘されている [Bailey 01]．そこで，ユーザの状態を考慮した情報通知の制御が必要となる．つまり，ユーザが情報通知を受理できる割り込み可能状態 (interraptable state) であるかどうかを推定し，その状態のときに情報を通知することが望ましい．
また一方，ユーザの割り込み可能状態を推定しないアプロー
チもある．ペリフェラルディスプレイ [Williams 95] がそのようなアプローチの典型であるが，本研究では，情報通知以外の目的にも適用するこを想定して，ユーザ状態を推定する方法を採用する．
ユーザ状態推定のためにはユーザを観測することが必要である．キーやマウスの入力の頻度やタイミングを用いるユーザ状態推定法が提案されている [Epp 11, 水口 04, 本田 98]．しかしこの手法では，入力の頻度が必ずしもユーザの繁閑を反映していない場合に情報提示タイミングの推定に利用できないことや，ユーザが入力装置を利用していない場合には推定できないなどの問題がある．また，PC 作業の切れ目度合いを推定する手法 [Iqbal 08] や，アプリケーションの切り替えタイミングを用いる手法 [田中 10] も研究されている．しかし，web 閲覧等のアプリケーションを切り替えない作業には適用できない．他に，各種センサを利用したユーザの作業の種類に基づく忙しさの推定に関する研究や Web カメラを用いてユーザの表情や姿勢を撮影し推定に用いる研究があるが [Fogarty 05, Chen 07]，顔の撮影やセンサをユーザに取り付けることは，観測されてい2.

圧力センサによるユーザ状態推定机上にかかる圧力を測定するため，机上に格子状にセンサ（測定点）を持つ圧力センサシートを敷く．これにより平面上の圧力分布を測定する．キーボード等机上に置く物は全てこのセンサシート上に置き，作業もシート上で行う．センサシートの大きさは約 1m 四方，圧力分解能は約 10g 必要である．
これを満たす圧力センサシートとして，本研究では図 1 に示す LL センサ ((株) シロク) を利用する．これは相互誘導を利用した圧力センサシートで，静電式や抵抗式と比較して大面積のセンサを低価格に実現できる．また，圧力分解能は使用する弾性材により調整可能であり，既にキー押圧の強弱検知が可能なように調整済みである．本研究では，センサシートサイズ600[mm]×600[mm]，分解能 10[mm]，センサ数 60×60 = 3600の LL センサを使用する．
次に，圧力データから特徴量を抽出する．特徴量は，前述のようなキー押圧や乗せている物体の重さ，位置，それらの変化

連絡先: 総合研究大学院大学 複合科学研究科 情報学専攻〒 101-8430 東京都千代田区一ツ橋 2-1-2
E-mail: tani@nii.ac.jp1

The 26th Annual Conference of the Japanese Society for Artificial Intelligence, 2012

図 3 タスクの画面（メイン画面）

図 1 LL センサ

図 4 タスクの画面（情報通知質問画面）
するか否かを問う．タスクは，画面上に課題となる文字列がスクロール表示され，その読み仮名に従ってタイピングするものである．スクロールは右から左に向かって文字列が連続的に流れるものとし，タイピングした内容は表示しないものとした．これは仮名と漢字の違いによってタスクの負荷が変動しないようにするためである．図 3 にタイピングタスクの画面を示す．画面サイズは 500[pixel]×300[pixel]，フォント
サイズは 30[pixel] である．スクロール速度は (a)0[pixel/s]（ 停 止 ） ，(b)33[pixel/s]（30[ms/pixel]） ，(c)50[pixel/s]（20[ms/pixel]），(d)100 [pixel/s]（10[ms/pixel]）の 4 段階とする．(c) → (b) → (d) → (c) → (b) → (a) → (c) → (d) →(b) → (d) の順で 1 分毎に切り替え，計 10 分のタスクとする．
速度が変わらない 1 分の間に，開始から 10 秒，30 秒，50 秒のタイミングで情報通知を許容するか否かを問うダイアログを表示する．ダイアログを図 4 に示す．ダイアログのサイズは 300[pixel]×200[pixel] とした．ユーザはキーボードのファンクションキーを押すことで，その時点で情報通知を受け取ることが出来る状態か否かを答える．受理できる場合は F1-F6，拒否の場合は F7-F12 を押してもらう．答えるとダイアログは消え，元のタスクに戻ることができる．本実験では実際には情報通知の提示を行わなず，教示により想定させるのみとした．
タスク期間中は机上の圧力を測定し続ける．圧力のうち，最も周期の速いものは，タイピングによる押圧と考えられる．従って，タイピングの押圧の周期より十分速い周期でサンプリングを行えばよい．予備実験からキーを押している時間が約 100[ms]とわかったため，測定の間隔は 30[ms] とした．
タスク期間中，机上にはキーボードとディスプレイ，ユーザの腕のみを載せる．ディスプレイのみを置いた状態の圧力をゼロ点とし，測定される圧力にはキーボードの重量とタイピング

図 2 実験環境の概観などといったものが利用できると考えられる．本研究では，研究の初期段階として，机上に置かれるものをキーボードとユーザの腕のみに限定し，それらの圧力のみを特徴量として使用する．ただし，キーボードの圧力を使用しているため，そこにかかるタイピングの押圧も特徴量に含まれることになる．
特徴量から分類学習によりユーザの繁閑を推定する．分類学
習アルゴリズムとしては，推定精度の向上に加えて推論規則を把握し推定に寄与する特徴量を明確にすることを考慮し，C4.5を用いる．また，本研究では割り込みの可否 2 段階 (accept,reject) で行う．

3.

実験

机上にかかる圧力を用いてユーザ状態の推定が行えることを示すため，実験を行う．

3.1

実験方法

3.1.1 実験環境
本研究ではデスクワーク環境を想定するが，本実験では研究の初期段階として，複雑な要因を排除した実験を行う．そのため，単純化したデスクワーク環境を構築した．図 2 に実験の様子を示す．
具体的には，PC を用いたタイピングタスクを用意し，そのタスクを行なっている間にシステムからの情報通知を許容

2

The 26th Annual Conference of the Japanese Society for Artificial Intelligence, 2012

表 1 データ例

1

2
3

left

rightbottom

left handright handclass

26.40628.76127.04630.17925.327

accept26.66526.55928.78028.84027.27027.28130.06329.86026.79627.982

acceptaccept26.69726.71328.95228.93527.28827.14229.81929.86227.81626.681

rejectreject26.84328.92827.21429.91125.622

reject

表 2 10-fold cross validation 結果

45条件

TPFP

Prec.

Recall

F-M.

試行毎

0.825
0.827

0.179
0.175

0.837
0.828

0.825
0.827

0.825
0.827

0.802
0.665

0.195
0.352

0.807
0.670

0.802
0.665

0.802
0.657

参加者毎
キーボード毎

図 5 センサ領域の分割模式図

総計の加圧，腕の重量（加圧）のみが含まれるようにする．

キーボード A は一般的に用いられているキーボードの一つである．キーボード B は人間工学的に設計された，特殊なキー押圧を持つキーボードであり，テンキーを持たない．

3.1.2 特徴量抽出
本実験では作業内容をタイピングに限定しており，かつ机上に置く物をキーボードとユーザの腕のみに限定している．そのため特徴量として，以下の 5 つを採用する．

3.1.5 参加者とデータセット
参加者は情報系の学生と教員，事務職で 23 歳から 51 歳 (平均 35.4 歳，標準偏差 11.7 歳) の男性 7 名女性 1 名とした．い
ずれも普段から PC を用いたデスクワークを頻繁にしており，タイピングに慣れている．
各被験者が両方のキーボードを使用し，計 16 試行する．各試行から得られたデータをマージすることで，以下の 4 パターンのデータセットを作成した．ここで，各パターンに属するデータセットの数と，各データセットに含まれる訓練データ数も合わせて記す．

1. キーボードの左足 : left
2. キーボードの右足 : right3. キーボードの手前側の足 : bottom
4. ユーザの左手 : lefthand5. ユーザの右手 : righthand
机上に置く物を限定しているため，上記の特徴が現れる机上の位置（領域）はほぼ一定となる．そこでまず，センサを図5 のように 5 つの領域に分割する．
分割した 5 つの領域のそれぞれの中にあるセンサのうち，閾値より高い値を示すセンサに各特徴を表す圧力が加わっているものとみなした．閾値は試行錯誤の結果から 20[-] とした．閾
値によって得られた範囲の圧力を平均したものを，その瞬間における特徴量とした．そして，情報通知を行う 1[s] 前から 30
フレーム分 (900[ms]) の圧力データの平均をとり，そこにユーザが付与した可否のラベルを加えた計 6 つの属性を 1 つの訓練データとした．

• 各試行別（参加者別かつキーボード別：データセット数16，訓練データ数 30）• 参加者別（参加者別に 2 つのキーボードのデータをマー
ジ：データセット数 8，訓練データ数 60）• キーボード別（キーボード別に全参加者のデータをマー
ジ：データセット数 2，訓練データ数 240）
• 合計（全てのデータをマージ：データセット数 1，訓練データ数 480）
ここで，accept と reject のデータ数の差の影響を取り除くため，weka に実装されている訓練データフィルタの 1 つである Resample により，訓練データ数の調整を行った．

3.1.3 分類学習アルゴリズムと評価
本研究では，C4.5 の実装として，weka3.6.4 の J48 を使用した．クラスは accept と reject の 2 値，危険率 (conﬁdencefactor) は C4.5 で最もよく用いられる 0.25 を使用した．
10-fold cross validation を用いて分類の精度を評価値とする．
3.1.4 キーボード本研究ではキーボードのタイピング押圧を利用した推定を行うため，キーボードの特性，特にキーの反応押圧や重量，足の形状や面積などが推定に影響することが予想される．そこで本実験では，以下に示す 2 つのキーボードを用いて実験を行った．

3.2

実験結果

参加者 c がキーボード B を使用した時に得られたデータの一部を表 1 に，得られた決定木を図 6 に示す．
次に，10-fold cross validation の結果を表 2 に示す．ここで，TP は正しく分類されたデータの割合，FP は誤って分類されたデータの割合，F-M. は F-Measure を表す．
参加者毎に決定木を生成した場合，83 % 程度の精度で分類を行えることがわかった．キーボード毎に決定木を生成した場
合，80 % 程度の精度となった．そして，全てのインスタンスを用いて決定木を生成した結果，精度は 66 % まで低下した．

• KFK-EA4XA((株) ミツミ電機:以後キーボード A とする)
• Realforce 91 NE0100((株) 東プレ:以後キーボード B とする)

3

The 26th Annual Conference of the Japanese Society for Artificial Intelligence, 2012
実験の結果，約 80 % の精度で割り込みの受容可能性を推定できた．
今後，より通常のデスクワークに近い環境での実験を行い，使用する特徴量を増やす．それにより，推定精度の向上を図る．
また，キーボード不使用時，すなわち思考中や閲覧中等，現状では対象としていない状態での推定を目指す．

参考文献[Bailey 01] Bailey, B. P., Konstan, J. A., and Carlis, J. V.:
The Eﬀects of Interruptions on Task Performance, Annoyance, and Anxiety in the User Interface, Proceedings
INTERACT 01, pp. 593–601, IOS Press (2001)[Chen 07] Chen, D., Hart, J., and Vertegaal, R.: Towards
a physiological model of user interruptability, in Proceedings of the 11th IFIP TC 13 international conference on Human-computer interaction - Volume Part II,
INTERACT’07, pp. 439–451, Berlin, Heidelberg (2007),
Springer-Verlag

図 6 決定木の例 参加者 c キーボード B

4.

考察

4.1

状態推定の精度[Epp 11] Epp, C., Lippold, M., and Mandryk, R.: Identifying Emotional States Using Keystroke Dynamics, inProceedings of the 2011 Annual Conference on HumanFactors in Computing Systems (CHI 2011), pp. 715–724,
Vancouver, BC, Canada (2011)

実験の結果，参加者毎に決定木を生成した場合は約 83 % ，キーボード毎に決定木を生成した場合は約 80 % の精度でユー
ザの割り込み拒否状態を推定することができた．この結果により，我々の提案する机上の圧力によるユーザ状態推定は，有望であると考えられる．
本研究では作業環境やタスクに制限を加えるなど，非現実的な状況での実験を行った．これは単純化して学習しやすい状況を作っていることを意味しているため，実環境で同等の精度が得られる保証はない．一方，得られる情報を制限していることも意味しているため，制限をなくし，今回採用しなかった特徴量を使用することにより，より高い精度が得られることも考えられる．
また，決定木を観察した結果，各ノードにおいて，値の大小と分類されるクラスに規則性は見られなかった．

4.2[Fogarty 05] Fogarty, J., Hudson, S. E., Atkeson, C. G.,Avrahami, D., Forlizzi, J., Kiesler, S., Lee, J. C., andYang, J.: Predicting human interruptibility with sensors, ACM Transactions on Computer-Human Interaction, Vol. 12, No. 1, pp. 119–146 (2005)[Iqbal 08] Iqbal, S. T. and Bailey, B. P.: Eﬀects of intelligent notiﬁcation management on users and their tasks,in Proceedings of the twenty-sixth annual SIGCHI conference on Human factors in computing systems, CHI ’08,
pp. 93–102, New York, NY, USA (2008), ACM

キーボードの特性の影響[Williams 95] Williams, L. J.: Peripheral target recognitionand visual ﬁeld narrowing in aviators and nonaviators.,
Int J Aviat Psychol, Vol. 5, No. 2, pp. 215–32 (1995)

参加者毎に 2 つのキーボードの結果を合わせて学習した結果，キーボード別に学習した結果と同程度の精度が得られた．
また，キーボード毎に全ての参加者の結果を合わせて学習した
結果，2 つのキーボードの結果に差違は認められなかった．これらは，キーボードに依存せず，状態推定が可能であることを示している．

4.3[水口 04] 水口 充, 竹内 友則, 倉本 到, 渋谷 雄, 辻野 嘉宏：デスクワークにおける忙しさの自動推定, ヒューマンインタ
フェース学会論文誌, Vol. 6, No. 1, pp. 69–74 (2004)

非タイピング時における状態推定[田中 10] 田中 貴紘, 松村 京平, 藤田 欣也：利用アプリケー
ション切り替え時に着目したユーザの割り込み拒否度推定法の検討, 人工知能学会論文誌, Vol. 25, No. 6, pp. 683–693(2010)

今回の実験では，タイピングによる負荷を掛けた状態での割り込み可否に限定して観測しているため，タイピングを行なっていない時間は割り込み可能となっている．なお，このことは実験結果からも確認されている．
一方，実環境ではタイピングをしていない状態でもユーザは割り込み拒否状態である可能性もある．例えば，動画の鑑賞中や思考中などが挙げられる．

5.

[本田 98] 本田 新九郎, 富岡 展也, 木村 尚亮, 大澤 隆治, 岡田 謙一, 松下 温：作業者の集中度に応じた在宅勤務環境の提供 : 仮想オフィスシステム Valentine(＜特集＞次世代ヒューマンインタフェース・インタラクション), 情報処理学会論文誌, Vol. 39, No. 5, pp. 1472–1483 (1998)

むすび[木村 11] 木村 和行, 田中 貴紘, 藤田 欣也：頭部の前後・回転運動に着目したデスクワーク中の割り込み拒否度と頭部運動の関係の分析, 情報処理学会論文誌, Vol. 52, No. 4, pp.
1485–1494 (2011)

本研究では，ユーザ状態推定の新たな手法として，机上にかかる圧力を用いることを提案した．その有効性を検証するため，ユーザ状態の 1 つとして繁閑を取り上げ，システムからの割り込みの受容可能性を推定できることを実験により示した．

4