WISS2009

机上振動音のアンビエントセンシングによるユーザ状態推定
Ambient Sensing of Desk Vibroacoustics for Estimating User Status

濱口 菜々山本 景子

岩井 大輔

佐藤 宏介∗

Summary. 筆者らは，教育支援システムのための筆記作業時のユーザ状態推定手法の確立を目指す．これまで，机背面部に設置した振動センサによってアンビエントに取得した学習時の机上振動音を筆記音と非筆記音に分類することで，振動音のみからリアルタイムにユーザの動作を筆記動作と思考の 2 種類に分類する手法を提案した．本稿ではこの手法に基づき，筆記によるタスク遂行時にユーザの動作分類を行い，更にタスクに対するユーザの心理状態を推定する手法について述べる．ユーザの心理に影響を与える主要因をタスクの難易度と仮定し，難易度の異なる記述問題を課す被験者実験を行った．その結果，机上振動音のうち非筆記音の占める割合（非筆記音率）からタスクに対する主観的難易度が推定できる可能性を見出した．この知見に基づき，タスク遂行中の一定時間における非筆記音率から主観的難易度をリアルタイムに推定し，提示するシステムを開発した．本システムはユーザ一名につき振動センサ一つで実現できるため，安価に大人数のユーザが同時に利用できるという利点を有する．そのため，大教室での講義受講者の状態のリアルタイムな可視化や，ログの取得による短・長期的な学習進度の記録など，教育支援アプリケーションへの応用も期待できる．

1

はじめに人間の行動だけでなくその裏に含まれる心理（以降，「内面的状態」）をも含めた上で人間とコンピュータがコミュニケーションを取ることができれば，ユーザ中心のインタラクティブな支援システムが期待できる．本研究の目的は，コンピュータにユーザの内面的状態を推定させ，ユーザの潜在的で繊細な要求までを汲み取った有用な支援システムを実現させることである．
従来の内面的状態の推定を試みる研究には，生体情報や行動計測に基づいたものがある．前者を用いている吉田ら [1] は，被験者の身体に直接センサを装着し，心電図や呼吸，血圧の状態を計測している．
しかしこの手法はユーザの身体を拘束するため，内面的状態に大きく影響してしまうことが考えられる．
一方後者を用いている中村ら [2] は，問題解答時のユーザの表情や身体の動作をカメラから取得し解析している．しかしカメラは，その存在をユーザに意識させ内面的状態へ影響を及ぼす可能性があり，またプライバシー面での問題も生じる．以上の問題を解決するため，著者らは周囲の環境にセンサを埋め込み日常的かつ潜在的にユーザの行動を計測する，アンビエントセンシングを適用する．学習時に行う作業の一つとして筆記作業を対象とする．筆記作業時のユーザの動作と心理を併せて「ユーザ状態」と定義し，筆記作業のアンビエントセンシングにより∗Copyright is held by the author(s).
Nana Hamaguchi, Keiko Yamamoto, Daisuke Iwai andKosuke Sato, 大阪大学 大学院基礎工学研究科 システ
ム創成専攻

得られた情報から，ユーザ状態を推定するシステムを提案する．
人間は問題解答のようなタスクに対して，「思考」と「筆記」の両動作を繰り返して筆記作業を行っていると考えられる．したがって筆記作業時のユーザの心理は，両動作時の情報を併せて推定されるべきである．そこでまずは，筆記作業時の動作が思考と筆記のどちらであるかを識別し，動作推定を行う．

2

筆記作業時の動作推定

2.1

筆記作業と机上振動音

筆記作業のセンシング情報には，ユーザから見えない机天板背面部に設置した振動センサから取得される机上振動音を採用する（図 1 参照）．
センシングされる机上振動音を図 2 のように分類すると，先述の「思考」が図 2 の「無音」と「ノイズ」（用紙の擦れや手との摩擦音の他，各種ノイズのこと），「筆記」が「筆記音」にあたると考えられる．本稿では「思考」部にあたる「無音」と「ノイズ」をまとめて「非筆記音」と呼称し，筆記音と非筆記音を識別することで筆記動作推定を行う．

2.2

筆記動作推定図 1 の環境を用いた予備実験から，筆記音と非筆記音は 200〜250[Hz] の周波数帯域の振幅スペクトルの平均値（特徴量 a）によって，80.6 ％の精度で識別可能であることが分かった．また，1050〜1130[Hz]の周波数帯域の振幅スペクトルの平均値（特徴量 b）がユーザの筆記速度に影響を受ける傾向も見られた．
これらの知見をもとに，リアルタイムに机上振動音

WISS 2009

図 1. 筆記作業のセンシン
グ環境

図 2. 机上振動音の分類を取得し，特徴量 a から筆記音と非筆記音を識別すると共に，筆記動作中の筆記音の変化を分析するため特徴量 a，b を 2 次元特徴空間にプロット及び記録するシステムを作成した．

33.1

心理推定のための被験者実験
実験内容

学習時の筆記作業に伴う心理の変化に影響を与える主要因をタスクの難易度と仮定し，机上振動音からタスクに対するユーザの主観的難易度が識別可能かを検討するため，難易度の異なる 3 種の中学数学の記述問題を 2 問ずつ被験者に課した．図 1 の環境下で，被験者毎に難易度の順をランダムとし解答させ，2.2 節に述べたシステムを用い特徴量 a，b を記録した．試行後に各設問に対する主観的難易度を問うアンケートを行った．またタスク遂行中，被験者の筆記作業の様子と特徴量の分布の変化をモニタリングした．被験者は 20 代の男女 10 名であった．

3.2

実験結果

モニタリングから，易しい問題に比べ，難しい問題解答中は思考動作が長いという傾向が見られた．
そこで非筆記音率に着目して机上振動音を分析した
ところ，被験者 10 名中 6 名において，主観的難易度が増加すると非筆記音率も増加するという相関が見られた．図 3 に，相関の見られたある被験者の主観的難易度と非筆記音率の関係を示す．横軸は難易度の異なる 3 種のタスク（A:易，B:中，C:難の順）であり，×が非筆記音率，●が主観的難易度をプロットしたものである．

3.3

考察

非筆記音率は，換言するとタスク解答のために「悩んでいる時間」と捉えることができる．したがって，タスクの主観的難易度が増すと悩んでいる時間が増大し，非筆記音率が増加したと考えられる．また，悩んでいる時間という指標は，問題の形式（マーク形式，記述形式など）が同一であれば問題の内容に依存しない，主観的難易度の判断基準になりうると考えられ，汎用性を有する．
非筆記音率と主観的難易度に相関の見られなかっ図 3. ある被験者の主観的難易度と非筆記音率の関係（横軸はタスク）た 4 名の被験者に関しては，うち 1 名は日常的に本実験で課した問題と同様の問題を解く機会が多いことがアンケートより分かった．解答後の解答用紙を観察すると，誤った記述が一切見られず，複雑な計算にも悩んだ形跡が見られなかったことから，難易度の高い問題でも非筆記音率が増加しなかったと考えられる．他の 3 名はアンケートにおいて筆圧が弱いとの申告があり，筆記動作推定の識別率が悪かったことが影響していると考えられる．
また，被験者実験のモニタリングから更に 2 点の傾向が見られた．1 点目は，解答中，記述内容を間違っていると判断した際，該当箇所を棒線で勢い良く消すという動作が見られたことである．この時特徴量 b の値が上昇していた．2 点目は，難易度の高いタスク解答中，全体的に筆記動作が小さくなる傾向が見られたことである．この時システムでは非筆記音と識別されたが，通常の非筆記音の分布よりも筆記音寄りの位置に分布していた．以上 2 点から，非筆記音率以外の特徴量からも内面的状態が推定できる可能性があると考えられる．

4

おわりに

本稿では，アンビエントに取得した机上振動音から，ユーザの筆記作業における動作を識別し，更に非筆記音率から主観的難易度が推定可能であることを示した．タスク中の一定時間における非筆記音率から主観的難易度をリアルタイムに推定し，提示するシステムを開発した．今後，非筆記音率以外の特徴量についても内面的状態推定の検討を行うことで，教育支援アプリケーションの構築を目指す．

参考文献[1] 吉田智幸, 飯田健夫. 身体的エージェントの情報提示インタラクションにおける動作に対する発生タイミングの制御の効果. 日本機械学会, No. 00-6,
2000.
[2] 中村和晃, 角所考, 村上正行, 美濃導彦. e-learning
における学習者の動作観測に基づく主観的難易度の推定. 人工知能学会 先進的学習科学と工学研究会 (SIG-ALST), No. 54, pp. 23–30, 2008-11.