情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-6F-06
2017/3/2

グループワークにおける作業者の疲労検出と休憩タイミング提案システム
三井健史1,a)

濱川 礼2

概要：本研究では，グループワーク時における作業者の瞬目累積数や頭部動作をセンシングし，その時系列変化から疲労を検出後，最適なタイミングで休憩提案を行うシステムについて述べる．近年，オフィスワーカーの知的作業における生産性の向上を目的とした研究やシステムが数多く開発されてきている．しかし，そういったシステムを評価する際，作業成績のみに注目することが多く，心理的側面や身体的側面，特に疲労に重点を置いたシステムは少ない．そこで本論文では，作業中の瞬目累積数および頭部移動量をリアルタイムにセンシングし，その時系列変化からユーザの疲労を検出する手法を実装し，それらを共同作業を行う複数人に適用しグループワークにおける疲労マネジメントへの応用を提案する．

Recommendation of Resting Timing Based on Fatigue Detection ofWorkers and Applicate to Group Management
TAKEFUMI MITSUI1,a)

REI HAMAKAWA2Abstract: In this research, we describe a system which makes a break suggestion at the optimum timing
in group work from fatigue detection based on time series change of blinks and head movement. Recently,
many systems that purpose of improving productivity in intellectual work of oﬃce workers have been developed. However, when we evaluate such systems, we only focus on work results, and few systems focus on
psychological and physical aspects, especially fatigue. In this paper, we propose a method to detect user’s
fatigue from time series change of blinks and head movement in real time, and we apply them to multiple
people who work together and propose application to fatigue management in group work.

1. はじめにることで，ユーザに対して適応的な環境演出を行い，作業効率の向上を目的としたシステムが考案されて来ている．

人間の行動状態やその空間をセンシング・解析・推定し，小林ら [2] はユーザの顔を Web カメラで撮影し，顔中個々の状況に応じて環境を変化させたり，情報提示を行う

心座標位置の x 軸・ y 軸・z 軸の変化量をぞれぞれ集計

ことで人間の活動を支援する試みを総称してアンビエントし，その移動特徴から集中度推定行う研究を提案していインテリジェンス (Ambient intelligence) [1] と呼ぶ．人間る．濱口ら [3] の研究では，作業者の机背面部に設置したの行動状態とは，頭・手の動きや姿勢・作業内容・デバイス

振動センサから，筆記作業時の卓上振動音をアンビエント

使用頻度などの人間の行動に関する状態を指したり，集中にセンシングし，筆記作業時と思考時にリアルタイムに分度，眠気などの人間の心理に関する状態を指し，それらを類する手法を提案している．さらに作業者の状態から生産様々なセンサデバイスを用いてセンシング・解析・推定す

性向上を目的としたシステムとして，我々はコンピュータ
作業者のキーボード打鍵情報・姿勢・視線情報からユーザ

12a)

中京大学 情報科学研究科
Graduate School of Information Science and Technology,Chukyo University
中京大学 工学部
School of Engineering, Chukyo University
h11516m@st.chukyo-u.ac.jp© 2017 Information Processing Society of Japanの集中状態を推定し，環境音再生やコーヒーやメントールのアロマオイルを噴霧することで作業環境を最適化するア
ンビエントインテリジェンスシステムの開発を行なってきた [4][5][6]．

130情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-6F-06
2017/3/2

しかし，そういったシステムを評価する際，作業成績の出及び休憩タイミング提示を行うことを目指す．上記研究みに注目することが多く，心理的側面や身体的側面，特に[8] [9] を参考に瞬目と特定の行動をセンシングすることで，疲労に重点を置いたシステムは少なく，また適応範囲が個疲労の検出を行う．さらに休憩タイミング提示方法に関し人のみであることが多く，複数人の疲労度管理にまで適応ては，コーヒーの香りを作業空間に漂わせることによって範囲を拡大し取り扱うアンビエントインテリジェンスシス行う．

テムは無い．
そこで，本研究では先行研究の疲労度検出手法を応用し，グループワークにおける作業者の疲労検出と休憩タイミング提案システムを提案する (図 1 )．

2.2 瞬目，及び行動センシング手法
瞬目取得方法は主に顔画像を画像処理することで取得する手法と，眼電位測定によって眼の周辺筋肉の動きをセンシングする手法とがある．顔動画像から画像処理を行い瞬目回数を取得する方法では，作業者の顔画像を Web カメラ等を用いて取得する必要がある．また，作業者の行動のセンシングには加速度センサーや傾きセンサーを作業者の身体の設置する方法や瞬目同様 Web カメラから取得した動画像に対し，画像処理を用いて首をマッサージしたり，座席の背もたれにより掛かるといった特定の行動を認識することが可能である．しかし本研究はシステムをオフィス作業者を対象としているため，カメラ画像はセキュリティ上問題となる場合がある．

図 1 システムイメージ

よって本研究では瞬目には眼電位測定を，行動のセンシ

Fig. 1 system image

ングには加速度センサーや傾きセンサーによる計測を用いることとした．また，眼電位測定並びに加速度センサーや

2. 関連研究

傾きセンサーには JINS 社が発売している JINS MEME

(図 2) [11] を用る．

2.1 疲労検出手法・休憩提示手法
作業者の疲労検出と休憩タイミング提示の研究として，東川らの研究 [8] では ，作業中の累積瞬目数変化から疲労検出を行う手法の提案とコーヒーメーカーの起動による休憩タイミング手法の提案が行われている．この研究では「ある時刻 t [秒] までの実際の累積瞬目数」と「ある時刻 tまで一定の度合いで上昇していくと仮定した場合の累積瞬目数」の差を作業者の自己申告による疲労タイミングとの関係性について考察した研究である．実際の瞬目のカウン
トは目視にて行い，手法はリアルタイム処理でない形で提案されているものの，瞬目情報は疲労を感じるタイミング

図 2の検出に利用できる可能性があることが示されている．まFig. 2 JINS MEME [11]JINS MEME [11]た，瞬目回数を観測することが直接的に眼精疲労の検出・予防にもつながる為，本研究ではこの瞬目回数を用いた疲労検出を試みる．休憩タイミング提示においても，作業自2.3 グループワークの円滑化を目的とした研究体の邪魔にならない形での提示が検討されており，コーグループワークの円滑化を目的とした研究・システムはヒーメーカーから発するコーヒーの香りを利用し休憩タイ数多く提案されている．グループワークの中でも特に，オミングを示している．

ンライン会議の円滑化を目的としたシステムとして，水上岡村らの研究 [9] では，ディスカッションにおける作業らの研究 [10] がある．この研究は，オンライン会議におい者の疲労の推定について述べられている．また，疲労の推て参加者の自らの立ち位置を主張しやすくしたり，会議の定には Kinect センサを用いた作業者の貧乏ゆすりや頷きまとめ役であるファシリテータの支援を行うことでオンラと言った特定の動作検出と音声データ解析により行われてイン会議の円滑化を図るものである．

いる．
本研究では，作業者の作業の妨げにならない形で疲労検© 2017 Information Processing Society of Japan

このようにグループワークにおいて作業効率を向上させるために提案されたシステムは多くあるが，先述の通り心131

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

理的側面や身体的側面，特に疲労に重点を置いたシステム

1-6F-06
2017/3/2

し次フレームの値の予測を行う．

はない．

3.2 変化点検出
2.4 関連研究との関連センシングデータから疲労度推定を行う研究は上記に挙げる通りいくつか存在し，本稿の疲労検出手法は排他的なものではなく並列に処理することが可能である．
一方，作業者の疲労度推定結果に基づいた環境演出まで含めアンビエントインテリジェンスを構築している研究例

先ほど構築した WMA モデルから推定した予測値の値に対して実測値が倍以上の値として観測されたフレームを変化点として出力する．
つまり，式 (2) で示す予測値 xp に対する実測値 xa であったとき， xxap の値である変化量 score が 2 以上になったタイミングを変化点として出力する．

は少なく [8]，それらを複数人の疲労度管理にまで拡大し取り扱うアンビエントインテリジェンスシステムは無い．本
研究ではグループワークにおける参加者の疲労度合いに着目し，最適なタイミングで休憩を促すことを目標とする．

3. 疲労検出手法

score =xaxp(2)

本論文では単位フレームを 1 分とし，直近 30 フレーム(30 分) のデータを用いてモデルを構築する．図 3 に示す
グラフは実際のデータに対し予測を行い変化量をプロットしたものと，作業者の自己申告による疲労フレームとを具体的な疲労検出手法について述べる．疲労検出手法は我々が取り組んできた手法 [12] を用いる．
作業者が疲労を感じるタイミングを，瞬目回数の変化や示したものである．モデル構築のため先頭 30 フレームは変化量がプロットされていない．上記変化量が増大するフレームの直後に疲労申告フレームが来ていることがわかる．

首をマッサージ，座席の背もたれにより掛かるなど，前フレームでは発生していないような何らかの変化が起こったタイミングと捉える．何らかの変化が起こったタイミングを変化点とし，その変化点を検出するために，加重移動平均 (Weighted Moving Average; WMA) モデルを用いて単位時間あたりの瞬目回数 / 顔の加速度 x, y, z 軸成分 / 顔の傾き頭部ロール角・ピッチ角・ヨー角の 3 軸成分の計 7
項目のデータ変動を予測し，その予測した値と実測値とを比較し，大きく値が変動したタイミングを変化点とし出力する．

3.1 WMA モデルの構築
瞬目数や頭の動きは作業者によって大きく異る．よって動きの予測には作業者自身の過去データから予測モデルを構築する必要がある．そこで，逐次更新することが可能なオンラインアルゴリズムである WMA モデルを用いることとした．

図 3 時系列での変化量の推移と疲労申告フレーム

Fig. 3 changes in time series and fatigue declaration frame

WMA モデルは直近の数個の値に対し異なる重み付けを行い平均値を算出するものであり，フレーム t での値を xtとする時，直近 n フレームのデータをモデル対象とすると

xt+1 =

n xt + (n − 1) xt−1 + . . . + 2 xt−n+2 + xt−n+1(1)
n + (n − 1) + (n − 2) + . . . + 2 + 1

4. 休憩タイミング提示手法
休憩タイミングの提示手法において，単純なアラートではコンピュータ作業者の作業の妨げになる可能性がある．

今回は直近のフレームが最大の重みとなりそれ以前の提示手法は，作業者の作業の妨げにならず，且つ，作業者データには線形に重みを一定数減らしていく線形加重平均自らが休憩を取ることを促すものである必要がある．そこ

モデルを用いた．式 (1) の形式で次フレームの値の予測で，作業自体に影響が少ない嗅覚情報を用い，コーヒーのを行うことが出来る．またフレームが進むごとに最も古い香りを作業空間に漂わせることで，作業者に対し間接的にデータをモデル対象から外し新しいフレームのデータをモ休憩を促すことが可能であると考えた．

デルに取り入れていく処理を逐次行う．この WMA モデ

また，作業者に対し休憩提示を行うタイミングについて

ルを 瞬目回数 / 顔の加速度 x, y, z 軸成分 / 顔の傾き頭は，過半数以上の作業者から疲労を検出したタイミングに部ロール角・ピッチ角・ヨー角の 3 軸成分それぞれで構築て休憩提示を行うものとした．

© 2017 Information Processing Society of Japan132

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

例として，システムが疲労を検出したタイミングを図 4

1-6F-06
2017/3/2

ミングとして出力する．その後，データを集積サーバへ送信し，環境演出処理部で疲労を検出した作業者が過半数なとする．

らば，休憩を促すコーヒーの香りを作業空間に噴霧する処
理を行う．

図 4

疲労検出ポイント例
図 6

Fig. 4 examples of fatigue detection points

システム概要Fig. 6 system overview

この場合，時系列的にずれたタイミングで作業者 A，B，C の疲労を検出していることを示すものである．この疲労検出タイミングの，前 5 フレーム分に過半数の作業者から5.1 センシング部・疲労検出部の疲労を検出していれば，そのタイミングを休憩タイミン

疲労検出部では JINS MEME からの瞬目及び頭部移動グとすることとした．これは参加者全体に疲労が見られた

生データ取得後，先述の疲労検出手法通り動的に構築したタイミングで休憩を挟むことが本来望ましいが，全作業者

WMA モデルの予測値と実測値との差である変化量を集から同じタイミングで疲労を検出することは難しいため，積サーバへ送信する処理を行う．このシステムをスマートある程度のスパンを設けることでそれを実現した．図 4 でフォン上に実装した．データ送信の際に JINS MEME のは 作業者 C からの疲労検出タイミングにて全 5 フレーム

BLE モジュールに振られた一意の番号を添えて送信する

以内に他 3 名の疲労を検出している為，このタイミングでことで，集積処理にて個人を識別する．

休憩提示を行う (図 5)．

実装は iPhone 用のアプリケーションとして行い，それをグループ作業者全員で利用する．個人毎にデータをセンシング・疲労検出処理を行い，データを次節の集積処理サーバへと送信する．

5.2 データ集積処理部
データ集積処理部では，iPhone アプリケーションから送信されてきた疲労データを個人毎にデータベースへ保存
図 5

休憩提示タイミング

Fig. 5 break presentation timing

する処理と，疲労データを環境演出装置へ送信する処理とを行う．
集積処理部ではネットワークを介してデータセンシン

5. システム概要
本論文では，グループワークの中でも特にオンライン会議での作業者の疲労をマネジメントすることを考える．
作業者が疲労を感じるタイミングを，瞬目回数の変化や首をマッサージ，座席の背もたれにより掛かるなど，前フグ・疲労検出部の iPhone アプリケーションから送られてきた疲労データを集積する，
また，データのやり取りには JSON 形式にて RESTAPI を利用し行い，デプロイサーバには Google が提供する BaaS(Backend as a Service) 環境である Firebase を用いた．

レームでは発生していないような何らかの変化が起こったタイミングと捉える．何らかの変化が起こったタイミング

5.3 環境演出部

を変化点とし，その変化点を検出するために，加重移動平

環境演出部ではデータ集積処理からグループワーク中の均 (Weighted Moving Average; WMA) モデルを用いて単作業者の疲労検出状態から，休憩タイミングを提示する為，

位時間あたりの瞬目回数 / 顔の加速度 x, y, z 軸成分 / 顔

コーヒーの香りを作業空間に噴霧するアロマ噴霧装置の制の傾き頭部ロール角・ピッチ角・ヨー角の 3 軸成分の 7 項

御を行う．

目のデータ変動を予測し，その予測した値と実測値とを比

アロマ噴霧は，USB 給電式のアロマ噴霧器を Raspberry

較し，大きく値が変動したタイミングを変化点を疲労タイ

Pi にて制御することで行う．Raspberry Pi に搭載された© 2017 Information Processing Society of Japan133

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-6F-06
2017/3/2

GPIO (General Purpose Input/Output) からリレー回路検出後，最適なタイミングで休憩提案を行うシステムにつを制御することで, USB 給電式のアロマ噴霧器へ流れる電いて述べた．我々が提案する疲労検出手法ではメガネ型デ流のオン / オフを切り替えることで噴霧をコントールすバイスを作業者に装着するだけで行うことが出来ることる．リレー回路とは, 中に電磁石が仕込まれたスイッチので，グループワーク以外の応用アプリケーションが構築でことであり, 少ない電力でより大きな電力を制御することきると考える．

ができるモジュールである. 今回 アロマ噴霧器を制御する

しかし，グループワークなど複数人が介在する環境下でにあたり, Raspberry PI の USB ポートから可能な給電量のさまざまな作業を想定した場合，全ての場合において疲

では, アロマ噴霧器の動作が不安定であったため, リレー回労を的確に検出するのは難しい可能性がある．

路を用い実装を行なった.
この環境演出部は疲労検出部同様に，各作業者のもとに設置する．

[1]

6. 評価
日頃からオンライン会議を行うことが多い研究室に所属する学生に本システムを使用してもらい，疲労検出手法並
びに休憩タイミング提示手法の評価，主観評価によるアンケートを実施した．
疲労検出手法に関して評価を行なった．
被験者は裸眼若しくはコンタクトレンズで矯正された視力を持ち，普段からコンピュータ作業を行っている 10 〜

20 台の大学生 11 名である．前日にアルコール及びコーヒー等を摂取せず十分な睡眠をとり，健康状態も良好と回答した被験者に対しコンピュータ作業 (プログラミング，レポート作成，論文閲覧等) を平均 118.74 分 (1 時間 58分)，合計 1306.39 分 (21 時間 46 分)

間行なってもらい，その間の変化点検出タイミングと作業者の自己申告による疲労タイミングとの関係性について調査を行なった．また事前実験同様，疲労の申告には自作スマートフォンアプリ
上のボタンを「疲労を感じた」タイミングで押下することでロギングを行なった．83.3% の精度でシステムが作業者の疲労を検出したタイミングの ± 10 分以内に被験者が疲労を申告した．
表 1

参考文献

検出タイミングと疲労申告タイミングの関係性

Table 1 Relationship between detection timing and fatiguetiming
誤差 (分)-10m-5m+5m+10m

検出カウント数

1014142

8％

20.8

29.1

29.1

4.1

16.7

other

上記評価結果の通り，疲労の検出には一定の成果をあげている．

Diane J. Cook, Juan C. Augusto, Vikramaditya R.
Jakkula: “Ambient intelligence: Technologies, applications, and opportunities”: Pervasive and Mobile Computing 5(4), pp.277 - 298 (2009)[2]
小林竜司, 中田豊久: “頭部の動きに着目した非接触型の集中度測定方法の開発”: 第 75 回全国大会講演論文集
2013(1), pp.469 - 470 (2013)[3]
Nana Hamaguchi, Keiko Yamamoto, Daisuke Iwai, Kosuke Sato: “Subjective Diﬃculty Estimation for Interactive Learning by Sensing Vibration Sound on Desk
Panel”: Lecture Notes in Computer Science, Springer
6439 pp.138 - 147 (2010)[4]
三井健史, 大橋省吾, 小林拳人, 志津野之也, 濱川礼: “個々のユーザの集中度に応じた室内環境を演出するシステム〜
ヴァーチャル・スタバ〜”: 第 77 回全国大会講演論文集
2015(1), pp.653 - 655 (2015)[5]三井 健史, 濱川 礼: “〜ヴァーチャル・スタバ〜 作業状
態に応じた室内環境演出システムの開発と評価”: マルチ
メディア，分散，協調とモバイル (DICOMO2015) シンポジウム, pp.1424 - 1435 (2015)[6]三井 健史, 濱川 礼: “入力モード推定に基づく作業環境音最適化アンビエントインテリジェンスシステ
ム”: インタラクション (2016)[7]厚生労働省: “平成 24 年 労働者健康状況調査 ” 入手先 ⟨http://www.mhlw.go.jp/toukei/list/h24-46-50.html⟩（参照 2016-12-16）.
[8]東川 知生, 山本 景子, 倉本 到, 辻野 嘉宏: “デスクワーク時における瞬目に基づく疲労蓄積の検出と適切な休憩タイミングの提示”: 研究報告ヒューマンコンピュータイン
タラクション（HCI）, pp. 1 - 6, (2012)[9]
岡村 瞬, 梶原 祐輔, 島川 博光: “ディスカッションにおけるユーザ状態の推定”: 情報科学技術フォーラム講演論文集, pp. 409 - 410, (2015)[10] 水上 祐輔, 喜安 伸, 杉浦 裕太, 村井 裕実子, 常盤 拓司, 太田 直久: “素早い意思決定を促すオンラインコミュニケー
ションシステムの提案”: ヒューマンコンピュータインタ
ラクション（HCI）, (2009)[11] JINS : ES — PRODUCTS — JINS MEME 入 手 先⟨https://jins-meme.com/ja/products/es/⟩ （参照 201612-16）.
[12] 三井 健史, 濱川 礼: “ユーザの瞬目累積数および頭部移動量を用いた疲労検出手法の提案”: 第 171 回 ヒューマンコ
ンピュータインタラクション研究発表会

現在はグループワークにおけるシステムの評価を行っている．評価結果はポスター発表時に掲載する．

7. 考察・展望
本研究は，グループワーク時における作業者の瞬目累積数や頭部動作をセンシングし，その時系列変化から疲労を© 2017 Information Processing Society of Japan134