2019 年度情報処理学会関西支部 支部大会

D-103

手首の加速度を基にした執務者のデスクワーク行動分析システムの構築
Construction of desk work behavior analysis systemfor office workers based on wrist acceleration
伊藤 稔†

三木 光範‡

村野 翔太†

Minoru Ito Mitsunori Miki

Shota Murano

1．はじめにオフィスにおける業務の効率化は企業にとって重要な課題である．業務の効率化には，どのような行動が効率的な業務なのか，どのような行動が業務効率を低下させているのかという業務内容の分析が重要である[1]．行動の分析手法としてパソコンのログを利用した行動分析手法，スマートフォンを用いた行動分析手法がある[2], [3]．
パソコンのログを利用した行動分析手法では，パソコン操作の詳しい分析が可能である．一方，パソコン操作以外の業務の分析が不可能であるという問題点がある．また，スマートフォンを用いた行動分析手法はスマートフォンに内蔵された複数のセンサを用いることで詳細な行動分析が可能である．一方，着席状態ではスマートフォンを机上に置くことが多く，この場合作業の分析が困難であるという問題点がある．このように従来の行動分析手法は，着席状態で様々な作業を行うデスクワークでの行動分析において問題点があることがわかる．これらの背景から，著者らは着席状態でのデスクワークにおける行動分析手法について研究している．
本研究では，デスクワークにおける行動分析手法として、加速度を用いた分析手法を提案する．加速度の取得には，腕時計型ウェアラブル端末を用いる．ウェアラブル端末は従来の大型なセンシング装置と比べ，比較的装着時の負担が小さく，装着者の動作を自然に取得することができる．
本研究では，デスクワークを行う執務者の行動をリアルタイムで分析するシステムの構築を行う．

2．提案システムの概要
本研究では手首の加速度から執務者の行動をリアルタイムに分析するシステムを構築する．本システムの主な用途としては，以下の 2 つを想定している．


状況を把握するために使用することが出来る．また，テレワークやノンテリトリアルオフィスなど，執務者がどこにいるかわからない場合においても，軽装備で執務者の状況を把握することができる．また，本システムの構成図を図1 に示す．

図 1 提案システムのシステム構成図
図 1 に示すように，提案システムは執務者が装着する腕時計型端末と執務者が所持する端末（Android OS 端末）で構成される．腕時計型端末では加速度の取得と送信を行う．
執務者が所持する端末では現在の執務者の動作および動作履歴を表示する．また，管理者が執務者の動作履歴を確認するために，クラウドに動作履歴を送信し，管理者がいつでも確認できるようにする．以降，本稿では執務者が所持する端末を執務者端末と表現する．
手首の加速度取得には図 2 に示す Polar 社の M600 を使用した．M600 は AndroidOS を内蔵した AndroidWear の 1 種であり，3 軸加速度センサを内蔵している．以降，本稿では腕時計型端末と表現する．

執務者が自らの行動を振り返りフィードバックする上司やチームリーダなどの管理者がメンバーの状況を確認する

1 つ目の項目に関して，執務者が業務を行う中で，自らの行動を振り返り，生産性の向上や無駄の改善に活用できる．
自分の過去の行動を記録するという容易ではない行為を，軽装備なデバイスを装着することで櫃限できる．2 つ目の項目に関して，上司やチームリーダなどの管理者が部下の図 2 使用した腕時計型端末（M600 polar 社）†同志社大学大学院, Graduate School of Science and Engineering,Doshisha University‡ 同志社大学, Department of Science and Engineering, DoshishaUniversity

3．システムの作成
3.1 分類する行動の選定
デスクワークにおける行動分析及び分類を行うために，デスクワークにおいて執務者がとる行動のうち，分類対象とする行動を予め選定する必要がある．そこで，デスクワー
クにおいて執務者がどのような動作をどの程度の頻度で行うか検証する．
検証では，デスクワークにおいて被験者がとる行動を検証するため，被験者のデスクワーク内容の記録を行った．
被験者が日常的に執務している環境でデスクワークを行わせ，その作業内容をビデオカメラを用いて 30 分間記録した．実験は 20 代の男女 6 名に対して行った．なお，被験者は全員右利きであり，腕時計型端末は右手に装着して検証を行った．6 名の被験者の合計作業時間から，各動作の割合を算出したグラフを図 3 に示す．

𝑛𝑛𝑝𝑝(𝑖𝑖 |𝑡𝑡) = 𝑛𝑛𝑖𝑖
𝐼𝐼𝑔𝑔 (𝑡𝑡) = 1 − ∑𝑐𝑐𝑖𝑖=0 𝑝𝑝(𝑖𝑖|𝑡𝑡)2…(1)…(2)

𝑛𝑛 :トレーニングサンプルの個数
𝑛𝑛𝑖𝑖 : クラス 𝑖𝑖 に属するトレーニングサンプルの個数
𝑝𝑝(𝑖𝑖|𝑡𝑡) : クラス 𝑖𝑖 に属するトレーニングサンプルの割合
C : 分類するクラス数(1) 式はノード t におけるクラス 𝑖𝑖 に属するトレーニングサンプルの割合を示す．また，(2)式はジニ不純度の算出を示している．ノード t に関して，各クラスに属するトレーニングサンプルの割合を 2 乗して減算している．(1)式，(2)式より，サンプルの偏りが小さく，各クラスに属するトレーニングサンプルの比率が均等に分布していると，(2)式の 2項目の値が大きくなり，ジニ不純度 𝐼𝐼𝑔𝑔 (𝑡𝑡)の大きさは 0 に漸近する．すなわち，ノード t におけるサンプルの偏りが小さいとジニ不順度 𝐼𝐼𝑔𝑔 (𝑡𝑡) が小さくなることがわかる．
上記の式を用いて動作の分類を行う．分類する対象とした動作は，前節の結果よりパソコン操作，スマートフォン操作，通話，筆記作業，飲食の 5 つとした．上記の 5 つの動作時における加速度を決定木分析によって分類する．本
研究では，ジニ不純度が小さくなるよう，いずれかの 3 軸加速度の値で分岐を行う決定木を作成した．作成した決定木を図 4 に示す．図 4 では紙面の都合により，各動作を PC，スマホ，通話，筆記，飲食と表記する．

図 3 被験者がとった行動
図 3 より，パソコン操作，会話，スマートフォン操作，通話，筆記作業，飲食はデスクワークにおいて高い頻度で行われる動作であると考えられる．したがって，これらの 5つの動作を本研究において分類対象とする動作とする．
また，会話は腕の動きとの関連性が低い行動であり，加速度を用いて行動を分析するという本研究の趣旨に合わないため分類対象に含めないものとする．その他の動作は全体に占める割合が 1 ％未満の動作の集合であり，欠伸，体の曲げ伸ばし，椅子の座り直しなどが含まれる．このような動作は個人の癖に依存すると考えられ，また全体に占める割合も低いため本研究においては分類対象に含めないものとする．

図 4 作成した決定木
図 4 より，パソコン操作のように一意に特定がしやすい動作や，飲食や通話のように複数の条件で分類がされる動作があることがわかる．
次に，作成した決定木で理論的に分類が正しくされるか検証を行った．検証に使用したデータには，教師データとして決定木を作成する際に使用したと同じデータを使用している．検証結果を図 5 に示す．

3.2 分類器の作成
本研究では行動の分類手法として，教師あり学習のうち，クラスの分類に適した分析手法である決定木分析を用いる[4] ．また，本研究において決定木分析で用いるアルゴリズムとして CART を採用する[5] [6] ．CART は決定木分岐のアルゴリズムのうち，分岐後のノードにおけるジニ不純度の合計が最も小さくなる変数と閾値を選択し，2 分岐を繰り返すアルゴリズムである．ジニ不純度とは，あるノードにおけるサンプルの偏りを示す指標であり，偏りが大きいほど 1 に，小さいほど 0 に漸近する．c 個のクラスに分類される𝑛𝑛𝑖𝑖 個のサンプルを含むノード t におけるジニ不純度 𝐼𝐼𝑔𝑔 (𝑡𝑡) の計算方法を示す．

図 5 作成した決定木による動作別の分類精度
図 5 より，選定した 5 つの動作のうち，飲食を除く 4 動作は，手首の加速度だけで理論上は 90 %以上の精度で分類可能であることがわかる．しかし，飲食動作は他の 4 つの動作と比較して，非常に精度が悪い．これは飲食動作は他の動作と比較して腕の動きに個人差が大きく，手首の加速度に傾向が一切なかったことが原因であると考えられる．
また，被験者ごとの分類精度を図 6 に示す．

図 6 作成した決定木による被験者別の分類精度
図 6 より，被験者ごとの分類精度も平均 70 %程度とそれほど高くないことがわかる．また，被験者 E は特に分類精度が低いことがわかる．これは被験者 E は飲食動作が特に特徴的であったことが原因だと考えられる．
図 5 および図 6 の結果より，飲食動作を手首の加速度で分類することは困難であると考えらえる．また，飲食動作は実際にはパソコンやスマートフォンを操作しながら行うことも多く，本システムで検出することによる効果も小さいと考えられれる．そのため，本研究では飲食動作を分類対象から外し，以下の 4 つの動作を分類対象とした．




1.
2.
3.
4.
5.

腕時計型端末のアプリを起動する
執務者端末のアプリを起動する
執務者端末で各種設定を入力し設定ボタンを押す
執務者端末でシートを作成するボタンを押す
提案システムの動作画面への遷移ボタンを押す

上記の手順に示すように，提案システムを動作させるには腕時計型端末と執務者端末の両方で作成したアプリを起動する必要がある．腕時計型端末のアプリでは，手首の加速度を執務者端末へ送信する動作のみを行い，その後の演算は全て執務者端末で行う．また，執務者端末ではアプリの起動時に種々の設定を行う必要がある．
図 7 に執務者端末におけるアプリ起動時の画面を，図 8にシステム動作時の画面を示す．

パソコン操作
スマートフォン操作
通話
筆記操作

3.3 完成したシステムの概要
提案手法を用いた行動分析システムは，腕時計型端末に実装した加速度取得アプリケーションとスマートフォンに実装した行動分析アプリケーションで構成される．執務者が腕時計型端末を利き腕に装着することで，執務動作中の利き腕の加速度データが行動分析アプリケーションに送信される．
行動の分類は，前節で作成した 6 名の加速度データから作成した分類器によって行う．また，推定された行動内容を執務者端末の画面に表示，およびログの記録を行う．推定する行動は，前章で高い精度で分類ができた行動であるパソコン操作，スマートフォン操作，筆記作業，通話動作とした．提案システムに実装した機能は以下の 3 つである．


提案システムを使用する際の手順を以下に示す．

図 7 提案システム用アプリ起動時の画面

執務者の行動をリアルタイムで表示
一定時間ごとに各行動の比率を円グラフで表示
各種行動の時間をクラウド上のシートに保存

1 つ目，2 つ目の項目は主に執務者が自信の行動を確認する際に使用する機能である．これらの機能は執務者による確認を想定しており，執務者端末の画面に表示する．また，
3 つ目の項目は執務者の状況を確認する管理者が使用する機能である．管理者が任意のタイミング，任意の場所で確認できるようにデータはクラウド上に保存している．提案システムでは，クラウドへのデータ保存に Google 社の提供するサービスである SpreadSheet を使用した．

図 8 提案システム動作時の画面
図 7 のように，アプリ起動時にはいくつかの項目を設定する画面が表示される．図 7 の画面では執務者の名前，管理用のタグ，画面の表示を更新する間隔を入力する．名前とタグはクラウド上にデータを保存する際にシートの名称として使用する．3 つのボタンはそれぞれデータのセット，シートの作成，システム動作画面への画面遷移を行う．
種々の設定を終えた後の，システム動作時には，図 8 のように，シートの名前，グラフを更新する時間間隔，経過時間，現在の動作，システム起動後の動作の比率が表示される．
また，図 9 にシステム動作時の Spreadsheet の画面を示す．

また，分類モデルを個人ごとにチューニングせずとも高精度で分類が可能であることがわかる．このことから，本システムを企業や組織に導入する際に，各個人のデータを取得してからシステムを構築する必要がなく，本システムは導入コストの低いシステムだと言える．

5．まとめ

図 9 データ保存時の SpreadSheet の画面
クラウド上のデータは図 9 のように各区間における各種動作を行った時間が SpreadSheet に保存される．図中の下部に表示される Sheet 名から，図 7 で指定した名前とタグを合わせた sheet を作成してデータを保存していることがわかる．
SpreadSheet へのデータ保存は図 8 のグラフ更新と同じタイミングで行われる．

4．システムの精度検証実験
4.1 実験概要
実装したシステムの精度を検証するため被験者実験を行った．被験者は，本システムを利用して分類動作であるパソコン操作，スマートフォン操作，筆記作業，通話動作をそれぞれ 1 分間行った．被験者は 20 代の男女 6 名とした．
実験に参加した被験者は決定木を作成する際にデータを取得した 6 名とは別の人たちを対象に行った．
4.2 実験結果と考察
動作別の分類精度を図 10 に示す．精度は，各動作時に取得した全加速度データのうち，推定動作と実際の動作が一致したデータの割合として算出した．

図 10 システムの動作別の分類精度
図 10 より，4 つの動作が 9 割以上の精度で分類できていることがわかる．このことから，3 軸加速度のみを特徴とした分類器で十分な分類精度を持つシステムを設計できたと考えられる．

本研究より，デスクワークにおける行動において，手首の 3 軸加速度を特徴量にすることで執務者の行動分類が行えることを示した．また，個人ごとに分類モデルをチューニングせず，数名の教師データを基にした分類モデルでも90 %以上の精度で正しく分類が可能であることを示した．
これにより，腕時計型端末があれば，本システムは容易に導入が可能であることを示した．
しかし，飲食動作は瞬間の 3 軸加速度のみを特徴量とした分類では精度が低くなるという問題がある．また，今回分類した動作は 4 種類のみである．これら問題を解決する方法として，単位時間における加速度の変化量や，平滑化した加速度などの特徴量を増やすことが考えられる．また，今回使用した M600 にはジャイロセンサも搭載されている
ため，ジャイロセンサの値も特徴量とすることで，新たな動作を分類できる可能性がある．現在のシステムの低コスト性を保ちながら，分類可能である動作を増やすことが今後の課題である．

参考文献[1] 武井康浩, オフィス環境でのウェアラブル端末活用の試みみずほ情報総研レポート, Vol.10,
pp.1-8, 2015.
[2] 大内一成，土井美和子: "スマートフォンを用いた
生活行動認識技術"，情報処理，Vol.54，No.6，
pp.578-581，2013.
[3] 鳥羽，森，恵木，櫻井: ”PC 操作ログと映像ログを用いた業務行動モニタリングシステムの初期討”，情報処理学会，コンピュータビジョンとイ
メージメディア，No.2010-CVIM-172，pp.1-8，2010.
[4] Andreas C. Müller, Sarah Guido, 中田秀基（訳）， ”Pythonではじめる機械学習”，オライリージャパン，2017.
[5] Breiman L, Friedman JH, Olshen RA, Stone
CJ. : “Classification and RegressionTrees”, CRC Press, 1984.
[6] Wei-Yin Loh: “Classification andregression trees”, Vol.1, John Wiley &Sons, Inc, pp.14-23, 2011