情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2A-03
2023/3/1

オフィス業務把握のための音声データ取得・行動分析システム
SLeSAS のプロトタイプの実装と予備評価
檜田 雄斗†1 粟飯島 陽向†1

大西 裕也†2大住 卓史†3 武本 充治†1

概要：多様な人間が活動するオフィスでは,その業務を向上させるために補助や助言を与えることが必要であるが,適切なタイミングの決定が難しいという問題がある.この解決策として,主たる業務を邪魔しない方法として,小型コンピュータによる音声データの取得と行動分析するシステム SLeSAS(Supervised Learning Source Analysis System)のプロトタイプの実装を行った. SLeSAS プロタイプ実装を実際のオフィスで動作させることにより,性能に関しての課題点が明らかになった.

2. SLeSAS の概要
1. はじめにオフィスという実空間の情報をセンサで取得し,それを企業・官庁などのオフィスには様々な人がおり,その経験分析することで,実際に業務に従事しているオフィスワーや知識,理解能力は多様である.それらの人が集団として効カーの行動を分析することで,業務推進・改善に必要な補助率的に業務をこなすためには,各担当者に対して補助や助や助言を与えるシステムを実現するために重要なことは通言を与えることが重要であるのは当然であるが,そのタイ常の業務に影響を与えない方法を採用することである.

ミングをどのように決定するのか難しい問題である.これ

この点に注目し,我々はセンサとしては音声センサを使は補助や助言が欲しいと担当者が明示的に伝える場合がほ用し,データを処理するコンピュータとしては小型のとんどであることに起因している.

Raspberry Pi を用いることで,どこまでデータ取得と行動分この問題を解決するためのシステム導入で最も重要な析ができるかを検証する.分析結果はマネージャが把握すのは、主たる業務に影響が少ない方法で,担当者の状況が把ることができ,マネージャは分析結果から「社員の作業が難握できることである.つまり,状況把握のために担当者が追航しているのではないか」といった判断が可能になるため,加の操作を行わない方式を採用することが重要である.

必要に応じてマネージャは補助や助言を与えることができ

そこで我々はオフィスで常に生成されているデータでる（図 1）.

ある音声に注目した.オフィスにいる人の声の他,オフィスにある OA 機器からは常に音声が出ている.特に OA 機器と担当者が触れているキーボードやマウスからは様々な音が発生している.
また,音声から行動を分析するにあたって大規模なコンピュータシステムをオフィスに設置することは難しいため,小型コンピュータをオフィスに置くことで音声データ取得と行動分析をするシステム SLeSAS を実装することとした.
SLeSAS を用いれば,担当者の行動分析が上司や同僚に把握することが可能になり,「この人は今困っているのかな,,,

図 1:オフィスにおけるデータ取得と行動分析だから声をかけよう」という人の行動を変容させることも期待できる。さらに,このようなオフィスのメンバの把握にSLeSAS を実現するプログラムは Raspberry Pi 上でのより,全体のマネジメント効率が良くなることも期待でき

Python で実装される.音声データの取得（録音）部分と行動る.

分析（推論）部分に分けられ,本システムではこれらの動作

本稿では,オフィスでの業務を把握するための音声デーを並列に処理を行っていく.また,音声データは Raspberry Pi

タからの行動分析システム SLeSAS の基本機能,拡張機能,の中の wav 形式,推論する際の画像データに関しては png

プロトタイプ実装と動作により明らかになった問題点につ形式のファイルとして、取り扱われる（図 2）.

いて述べる.

†1 東京国際工科専門職大学†2 ICSP idea 株式会社
†3 株式会社 ICS パートナーズ© 2023 Information Processing Society of Japan464

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2A-03
2023/3/1

図 4:マウス操作時の周波数画像

図 2: 基本機能フロチャート

3. 基本機能
現在のシステム実装と動作はあらかじめ業務を行う際発生する環境音,例えば「キーボードを打つ音」,「マウス

図 5:無音状態の周波数画像を操作する音」,「無音」などと言った音声データの周波数画像を機械学習させ,生成したモデルを用いてリアルタイ
ムで 10 秒間隔の音声データを画像にして判断させる.
図 3, 4, 5 に SLeSAS プロトタイプの録音機能を使って取図 3 はキーボードを操作している時の画像で,小さな波形が連続して検出されており,実際の動作では連続で打鍵していることが確認できる.

得した音声データの周波数を画像データに変換して表示したものを示す.

図 4 はマウスを操作している画像で小さな波形が連続で二回検出されており,実際の動作ではマウスでダブルクリックをしていることが確認できる.
図 5 は波形が一切確認できないため,無音状態,つまりは何もしていないことが確認できる.

4.

SLeSAS の動作状況
SLeSAS プロトタイプの基本機能を実行したときにターミナルに出力されたデバッグ情報からプログラムの動作状況を把握することができる(図 6).

図 3:キーボード操作時の周波数画像© 2023 Information Processing Society of Japan465

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2A-03
2023/3/1⚫

追加機能１．長時間離席した際,その人の離席状況をLINE などに知らせる機能⚫

追加機能２．プログラム実行時に出勤,退勤を CSVファイルに自動的に書き込む機能⚫

追加機能３．Google カレンダーと連携して会議などの予定があった場合,音の記録ではなく,その予定をログに書き込む機能
これらの機能を基本機能の拡張で実装した(図 8).

図 6: VisualStudioCode での実行結果
図 6 は実際にプログラムを実行した際のターミナルの画像で, 判別結果からキーボード操作と無操作状態であることが分かる.
また,判別結果,判別結果をもとにした利用者の動作内容,そして無音状態とその合計時間を CSV ファイルとして保存する機構も実装した(図 7).

図 8: 拡張機能フロチャート
拡張機能 1 は,「リモートでも出社時でも誰が放置,離席しているのかがわかることによって仕事やプロジェクトの効率化が図れる」という我々の仮説に基づいている.
図 9 に拡張機能 1 の動作状況を示す.判別結果が”noise”
でさらにそれが 10 分以上続く場合,10 分間隔で LINE に「○
図 7: CSV ファイルに保存されたログ○分離席中です」とういうメッセージを LINE Notify API[1]を用いて自動的に送信している.(今回は実験的に 10 分間隔

図 7 では、10 秒間隔で録音した音声データを画像に変換で送信している)してその画像を”key_touch”,”mouse”,”noise”の３つに分類させた結果を表示させている.

5.

拡張機能の実装
オフィスでの活用を想定して,基本機能に追加すべき機能を選定し,その選定が正しいことを検証するために,実装を行った.

© 2023 Information Processing Society of Japan466

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2A-03
2023/3/1

図 9:離席状況を表示した LINE の画面
図 11: 予定が入っている場合の CSV ファイル拡張機能２は出勤、退勤を別の CSV ファイルで保存するものである.システムを起動した際に自動的に出勤時間が記録され,システムを停止させると自動的に退勤時間と勤6.

現実装における課題務時間が記録される.これは新規のソリューションではな

基本機能・拡張機能を実装し,実際のオフィスに設置していが,既存のソリューションシステムの改良に寄与すると動作を行ったところ,基本機能においていくつか課題点がいう我々の仮説に基づいている.

見つかった.それらの内,性能に関して列挙すると以下のよ

図 10 に実際に生成する CSV ファイルの中身を示す.

うになる.
１.長時間の動作が不安定
２.汎用的ではない
３.判別速度４.確実に判別できるわけではない

図 10:出勤、退勤時間を書き込んだ CSV ファイル
まず,1.“長時間の動作が不安定”であるがこれは文字通
拡張機能３は Google Calendar API[2]を用いてカレンダー

り長時間,動作させた場合途中で止まってしまうというこに予定を入れた場合(今回は”会議”),音の判別結果がどのよとである.120 分連続で動作する時もあるが,短い時間で動うなものでもその時間内は予定を書き込むといった機能で作が止まってしまう場合がある.これは単に使用したデバある.この機能を追加することで,「本来事情があって離席イスのスペック不足やマルチタスクの負荷が原因の一つでしていたはずなのにログでは“離席“と書き込まれてしまあると考えられる.実際に導入する際は予測する機械と判うことを防止」でき,適切な行動分析に寄与するという我々別する機械を分けると安定した動作が可能になるのではなの仮説に基づいている.現在検証を行ったシステムでは PC

いかと考える.

上で予定を入れたが,スマートフォン上の Google Calendar

次に２.” 汎用的ではない”であるが,これは利用する個でも予定を入れられるのでかなり汎用性は高いと言える.

人の環境によって結果が変動する可能性があるということ

図 11 に予定が入った CSV ファイルを示す.

である.例えば使用しているキーボードの音や環境音そういった要因が個人個人で異なるため判別結果にブレが生じる恐れがある.これの対応策として機械学習モデルを複数個用意してそれぞれの結果をもとにして最終的な判別結果を出すのがよいと考える.
次に３.“判別速度”についてだが,動作するに当たり録音が完了してから予測完了までに約 20 秒のラグがあるということである.つまり,結果が表示される場所には現在時刻の 20 秒くらい前の結果が表示されるということになっ© 2023 Information Processing Society of Japan467

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2A-03
2023/3/1てしまうことになる.この解決案としては 1.“長時間の動作が不安定”で述べた解決案と同じく録音と判別を分けることが挙げられる.
最後に４.” 確実に判別できるわけではない”について,個人の差にもよるが現段階での判別率は約 8 割であるため必然的に誤認識が発生する時がある.このことによって“放置していたはずなのにマウスの音が誤認識された”ということが起こりうる.この解決案としては特定の条件下の場合誤認識された結果を無効化するプログラムを作成する,もしくは誤認識されないくらい精度の高いモデルを作成することで比較的安定した動作が可能になると考えられる.

まとめと今後の課題

7.

本稿ではオフィス業務を把握するための音声データからの行動分析システム SLeSAS の基本機能と拡張機能のプロトタイプについて述べた.そのプロトタイプ実装を用いて,オフィスで予備実験を行ったところ,基本機能において,動作不安定,低い汎用性、遅い反応速度、低い判別可能性などの性能に関して改善すべき課題が明らかになった .また ,LINE に よ る 通 知 , 勤 怠 表 に 使 え る デ ー タ の 自 動 生成,Google Calendar との統合を拡張機能として実装を行った.これらの基本機能と拡張機能を実際のオフィスで動作させ,その結果を実際のマネージャに評価してもらうことで,本システムの改良を行うことが今後の課題である.
謝辞

本研究の実施にあたり,実際の測定環境を提供してくれた株式会社 ICS パートナーズ社員諸君に感謝する.

参考文献[1]LINE Notify. https://notify-bot.line.me/doc/ja/(2022-12-19)[2]Google Calendar. Google Calendar API | Google Developers(2022-12-19)© 2023 Information Processing Society of Japan468