情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C61
2016/3/2

入力モード推定に基づく
作業環境音最適化アンビエントインテリジェンスシステム
三井健史1,a)

濱川 礼2

概要：本研究では，ユーザの作業用 PC に振動マイクと振動スピーカーを取り付けるだけで集中度推定し個々の状態において最適な環境演出を行うシステムについて述べる．我々は PC 作業者のキーロギング・姿勢・視線情報からユーザの状態を推定し，環境音再生やコーヒーやメントールのアロマオイルを噴霧することで作業環境を最適化するシステムを検討してきた．しかし従来法の作業者状態推定手法では入力項目が多くセットアップが煩雑であるといった問題があった．そこで本研究では，アクティブ音響センシン
グを参考にした入力モード推定を行うことでユーザの作業用 PC に振動マイクと振動スピーカーを取り付け，作業者の手が PC とどのように接触しているかを取得し集中度推定を行う試みを提案する．さらに，集中度推定結果から作業用 BGM の音量を最適化することで，作業効率向上を図る．

BGM Volume Optimize Ambient Intelligence System Based on
Estimating Input Mode
TAKEFUMI MITSUI1,a)

REI HAMAKAWA2

Abstract: This paper describe a BGM volume optimize system based on estimating user’s concentration
using vibration microphone and vibration speaker. We have examined the system to optimize the working
environment by playing the environmental sound playback and spraying the coﬀee and menthol aroma oilbased on estimating user’s concentration. However, The conventional method is a problem that complicatedto setup. Therefore, in this paper, we propose attempt to estimate user’s concentration by performing an
input mode estimation with the active acoustic sensing. Moreover, By optimizing the BGM volume from thedegree of concentration estimation results, to achieve a working eﬃciency.

1. はじめにを様々なセンサデバイスを用いてセンシング・解析・推定することで，ユーザに対して適応的な環境演出を行い，作

人間の行動状態やその空間をセンシング・解析・推定し，業効率の向上を目的としたシステムが考案されて来てい個々の状況に応じて環境を変化させたり，情報提示を行う

る．作業者の状態から作業効率向上を目的としたシステム

ことで人間の活動を支援する試みを総称してアンビエントとして，我々は PC 作業者のキーロギング・姿勢・視線情インテリジェンス (Ambient intelligence) [1] と呼ぶ．人間報からユーザの状態を推定し，環境音再生やコーヒーやメの行動状態とは，頭・手の動きや姿勢・作業内容・デバイントールのアロマオイルを噴霧することで作業環境を最適

ス使用頻度などの人間の行動に関する状態を指したり，集化する試みを検討してきた [2][3]．しかし，システム実用

中度，眠気などの人間の心理に関する状態を指し，それら上，作業前にシステム動作に必要なアプリケーションを起動し，視線追跡の為のキャリブレーション処理を行い，姿12a)

中京大学 情報科学研究科
Graduate School of Information Science and Technology,
Chukyo University
中京大学 工学部
School of Engineering, Chukyo University
h11516m@st.chukyo-u.ac.jp© 2016 Information Processing Society of Japan

勢推定のために事前に指定アプリケーションを起動させたスマートフォンを胸ポケットに入るなど，集中度推定のための入力項目が多く，煩雑であるという課題があった．
そこで本研究では，ユーザの作業用ノート PC に振動413

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C61
2016/3/2

マイクと振動スピーカーを取り付けるだけで集中度推定し個々の状態において最適な環境演出を行うシステムについて述べる．

2. 関連研究
集中度推定には様々なアプローチが考案されている．昨今では各種センサデバイスが非常に安価で手に入る為，脳波計などの大掛かりで非常に高価なセンサを使用せずにユーザの集中度を推定することが可能となっている．以下

図 2

筆記作業のセンシング環境に安価なセンサデバイスを用いた集中度推定手法を幾つか述べる．

なものではなく並列に処理することが可能である．

小林ら [4] は Web カメラを用いた集中度推定手法を提一方，作業者の集中度推定結果に基づいた環境演出まで案している．この研究ではユーザの顔を Web カメラで撮含めアンビエントインテリジェンスを構築している研究例

影し，顔中心座標位置の x 軸・ y 軸・z 軸の変化量をぞれは少ない [2][3][6]．これは，オフィスなどの複数人が介在ぞれ集計し，その移動特徴から集中度推定を行うものであする環境下でのさまざまな作業を想定した場合，フロア全る．評価実験ではタイピング作業時の進捗状況の変化を集体の騒音や作業者会話の有無など，作業への集中度を推定中状態の変化と位置づけて行っており，非集中時の作業時する上で考慮すべき要因が数多くある為，集中度推定手法には 図 1 の円で囲まれた例のような特徴的な波形となるの提案のみの研究が多い為と考えられる．

事を示している．また，脳波計などを用いる集中度推定方

そこで本研究では，問題をシンプルにするため，個人利法と異なり，非接触センサデバイスを用いることでユーザ用かつ PC 作業を前提とする．こういった状況下での作業への圧迫感を抑えるなどしている．

者の集中度推定結果に基づき，環境演出として再生されている BGM の音量を最適化し，さらにこの処理サイクルを単位時間毎に継続して行うことで作業効率の向上を目標とする．

3. 提案手法
本研究では前述の通り個人のノート PC 作業者を前提として行う．
従来 PC 作業時の集中度推定にはキーロギングなどを用いて行ってきた [2][4][6]．しかし，アルゴリズム思案時など考え事をしている時にはキーボードの打鍵が行われない為，キーロギング情報からユーザの行動を見たとき，何の作業も行っていない状態との識別は困難であった．
図 1

顔座標位置プロット

そこで本研究では作業時に作業者の手がどのように PCと接触しているかに着目し，物体に音響信号を流しその伝

濱口ら [5] の研究では，教育支援システムのために作業搬応答から物体の状態を認識する「アクティブ音響センシ

者の机背面部に設置した振動センサから，筆記作業時の卓ング」 [7] 技術を参考に問題を解決する手法を用いるアプ

上振動音をアンビエントにセンシングし，筆記作業時と思ローチを取る．

考時にリアルタイムに分類する手法を提案している (図 2)．

図 3 に示す通り，作業者の PC に小型の振動センサー

さらにユーザの心理に影響を与える主要因をタスクの難易と振動マイクを設置する．設置した振動スピーカーから正度と仮定し，難易度の異なる記述問題を課す被験者実験を弦波を流し，振動マイクから振動をセンシングすることで行い，その結果から卓上振動音のうち非筆記音の占める割PC から作業者が手を離している状態 (none モード) か，手合からタスクに対する主観的難易度の推定の可能性まで見のひらが PC のキーボードに触れている状態 (home モー出している．

ド) か，タイピング作業が行われている状態 (typing モード) の三つの入力モードをマイクから取得した振動情報の2.1 関連研究との関連

周波数解析を高速フーリエ変換 (Fast Fourier Transform:

センシングデータから集中度推定を行う研究は上記に挙FFT) を用いて行った結果を SVM でクラス分類した後，げる通りいくつか存在し，本稿の集中度推定手法は排他的モード分類結果に基づいて単位時間に占める各モードの割© 2016 Information Processing Society of Japan414

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

合から作業者の集中度推定を行う．最終的に環境演出として作業時にユーザが再生している BGM の音量を集中度推定の結果に基づき最適化する．

161C61
2016/3/2

5. システム詳細
提案手法は入力モード推定処理部・集中度推定処理部・作業用 BGM 音量調整処理部の三つの処理部が連動し動作している．

5.1 入力モード推定処理部
入力モード推定処理部では作業者が PC から作業者が手を離している状態 (none モード) か，手のひらが PC のキーボードに触れている状態 (home モード) か，タイピン
グ作業が行われている状態 (typing モード) かの三つの入力モードの分類を行う．
振動マイクから取得した振動データをもとに，フレーム単位に FFT を行い，周波数ごとのパワースペクトルを算出し，それを各モードの特徴とする (図 5)．
図 3 システム構成
4.5
4

本手法では単純なキーロギングと比べ，ユーザのキー入力がないような (キーボードに手を添えて考え事を行ってロギング方式ではユーザが作業している PC に専用のソフトウェアを導入する必要があるのに対し，提案手法ではそ3Power (dB)いる等) 思考状態も検知する事が可能である．さらにキーnonetypinghome

3.5

2.5
21.5
10.5の必要がないなどの利点が挙げられる．

0050100150を行い，環境演出として作業時にユーザが再生している

200250300

350400450500

Frequency (Hz)そして，モード分類結果に基づいて作業者の集中度推定
図 5

各入力モードの周波数パワースペクトル

BGM の音量を最適化する．
この周波数ごとのパワースペクトルから入力モード推4. 実装

定を行うための機械学習手法としては，決定木，ランダ

提案手法のプロトタイプを実装した．振動スピーカーとムフォレスト，サポートベクターマシン (Support Vector

してコスモテクノ社の VIBROY CSP-V101 [8] を，振動マ

Machine: SVM)，ニューラルネットワークなどさまさまな

イクにはアーテック社のピエゾピックアップ A1-OSJ [9]方法が検討されるが，本研究では SVM を利用し入力モーを使用した．実際の設置例を図 4 に示す．

ド推定処理を行う．

SVM は，学習サンプル x = (x1 , x2 , ..., xn ) とその教師
信号 y ，重みベクトル w，バイアス項を b とした時，二つのクラスに分離されるような超平面 < w, x > +b = 0 を，その周辺のマージン領域が最大となるように選択することで，汎化性能がより高くなるような識別境界を求める手法である．ここで先の処理で得られた各入力モードごとの周波数スペクトルデータ学習データとし SVM の識別器を学習させる．
また，今回は分類を 3 つの状態に分類するため，typingモードを判定する識別器と，home モードを判定する識別器の 2 つを組み合わせて処理を行う．
図 4

実際のセンサ設置例

5.2 集中度推定処理部
振動マイクの入力データを PC を転送するための USB

集中度推定処理には，入力モード推定処理より得られたオーディオインターフェースとして Roland 社の DUO-

三つの入力モードが，単位時間に占める平均割合を算出し，CAPTURE mk2 UA-11-MK2 [10] を使用した．

状態推定を行う作業者の各入力モードの単位時間に占める© 2016 Information Processing Society of Japan415情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C61
2016/3/2

割合との差が小さい方の状態を現在の作業者の状態として進めたが，今後は home モードの判定状態が作業者の集中判定する処理を行う．故に，出力結果は作業者が単位時間とどのような関連があるかの実験を行い，集中度推定処理内で集中状態であるか，非集中状態であるかの二値結果がの評価や主音量調整機能がユーザの集中度にどのような影得られる処理を行う．

響をあたえるかの調査を継続して行う．
さらに入力モード推定処理について，現状の手法では5.3 作業用 BGM 音量調整処理部
作業者が集中状態にあるとき，作業用 BGM の音量を単位時間内で徐々に下げる処理を行う．

PC 設置毎にキャリブレーション処理が必要となるが，判定方法を工夫することで解決を目指す．
また，不確定な時系列データに対して統計的なアプローチからモデル化する手法として隠れマルコフモデル (Hidden

6. 評価

Markov Model: HMM) がある．現状集中度推定処理は今提案手法の可能性を検討するため，ユーザの入力モード後は単位時間内でのユーザの行動のみのデータを処理するの推定を行う実験を行った．作業者からホームポジションのではなく，HMM などの時系列を考慮したモデルを適応に手を添えた状態 (home モード) と，タイピング作業を行することで時系列でのユーザの状態を加味した集中度推定

う状態 (typing モード) と，作業者が PC に何も触れていな手法をシステムに組み込んでいく．

い状態 (none モード) の三つの入力モードのデータ各 100秒間のデータを学習データとし入力モード推定精度の調査

参考文献を行った．

[1]

PC 設置位置と振動センサ設置位置を固定した学習デー
タから，同様の設置環境での未知データに対して精度評価を行った実験結果を図 6 に示す．各行は正解データを示[2]

し，列は判別結果を示す．
[3]

[4]

[5]

[6]

図 6

入力モード推定結果の混交行列

実験結果から入力モード推定精度は非常に高い精度で推[7]定可能なことがわかった．しかし，学習データ取得時でのPC 設置位置と振動センサ設置位置から，異なる状況に設置された未知データに対して精度評価を行ったところ，こ[8]

ちらでは入力モード推定精度は大幅に落ちることも判明した．これは振動センサの微妙な位置変化や卓上の状態によっても伝搬応答に変化があるためであると考えられる．

[9]

この事から，提案手法では PC 設置毎にキャリブレーション処理を行う必要がある事がわかった．

[10]

Diane J. Cook, Juan C. Augusto, Vikramaditya R.
Jakkula: “Ambient intelligence: Technologies, applications, and opportunities”: Pervasive and Mobile Computing 5(4), pp.277 - 298 (2009)
三井健史, 大橋省吾, 小林拳人, 志津野之也, 濱川礼: “個々のユーザの集中度に応じた室内環境を演出するシステム〜
ヴァーチャル・スタバ〜”: 第 77 回全国大会講演論文集
2015(1), pp.653 - 655 (2015)
三井 健史, 濱川 礼: “〜ヴァーチャル・スタバ〜 作業状
態に応じた室内環境演出システムの開発と評価”: マルチ
メディア，分散，協調とモバイル (DICOMO2015) シンポジウム, pp.1424 - 1435 (2015)
小林竜司, 中田豊久: “頭部の動きに着目した非接触型の集中度測定方法の開発”: 第 75 回全国大会講演論文集
2013(1), pp.469 - 470 (2013)
Nana Hamaguchi, Keiko Yamamoto, Daisuke Iwai, Kosuke Sato: “Subjective Diﬃculty Estimation for Interactive Learning by Sensing Vibration Sound on Desk
Panel”: Lecture Notes in Computer Science, Springer
6439 pp.138 - 147 2010
HONDA Shinkuro, TOMIOKA Hironari, KIMURA
Takaaki, OOSAWA Takeharu, OKADA Kenichi, MATSUSHITA YUTAKA: “A Home Oﬃce Environment
Based on the Concentration Degrees of Wokers -A Virtual Oﬃce System V̈alentine¨(Special Issue on Next Generation Human Interface and Interaction)”: Information
Processing Society of Japan (IPSJ) pp.1472 - 1483 (1998)
Ono Makoto, Shizuki Buntarou, Tanaka Jiro: “Touch &Activate: Adding Interactivity to Existing Objects Using
Active Acoustic Sensing”: Proceedings of the 26th Annual ACM Symposium on User Interface Software andTechnology, pp.31 - 40 (2013)
バ イ ブ レ ー シ ョ ン ス ピ ー カ ー VIBROY CSPV101: http://www.cosmotechno.co.jp/sp/seihin-johoCSP-VI01.html
ARTEC(アーテック)/A1-OSJ:
http://www.soundhouse.co.jp/products/detail/item/201
191/
DUO-CAPTURE mk2 UA-11-MK2:
http://www.roland.co.jp/products/duo-capture mk2/

7. 展望
今回は入力モード推定処理の妥当性を評価する段階まで© 2016 Information Processing Society of Japan

416