WISS 2017

スマートウォッチを用いたモノづくりの動作検出に対する試み
会津 慎弥 ∗ 塚田 浩二 ∗概要. 3D プリンタ等のデジタル工作機械の低価格化や，ユーザ参加型のマニュアル共有サービスの普及により，一般の生活者が気軽にモノづくりに取り組む，パーソナルファブリケーションの到来が期待されている．しかし，現状においては，画像やテキスト中心でのマニュアルでは細かい手技等は表現できないた
め，マニュアル利用者に一定の知識や技術を暗に要求してしまったり，そもそもマニュアル作成の負担が大きいといった問題がある．そこで本研究では，こうした問題を解決するために，モノづくり中の動作をウェアラブルセンサで検出／活用することが有効であると考えた．本稿では，スマートウォッチを用いてモノづくりの基礎的な組立て動作の検出を試みる．

1

はじめに近年，fabble1 や instructables2 などのモノづくりの作業工程を記述する，ユーザ参加型のマニュアル作
成の Web サービスが普及している．こうした Webサービスを用いれば，非専門家であっても，3D プリンタ等のデジタル工作機械を用いたモノづくりに比較的気軽に取り組むことが出来る．しかし，これらの Web サービスのマニュアルは写真やテキスト中心に構成されており，詳細な組み立て工程が伝わりにくかったり，作成に大きな手間がかかるという問題があった．一方，モノづくりの過程を動画で記録した動画マニュアルも存在し，前述した静的なマニュアルよりも作業手順や詳細を伝えやすい利点がある．ただし，わかりやすいマニュアルにするためには，撮影後の動画編集が必要であり，知識や経験のない初心者には多大な労力と時間がかかる．そこで本研究では，マニュアルの作成者 (以下，作成者)が動画マニュアルを撮影する際に，スマートウォッチを装着し腕や手の動作を記録／活用することで，上記問題の解決を目指す．たとえば，スマートウォッチに搭載された加速度センサ等で工具の使い方等の「手技」を定量的に記録したり，作業工程を記録する際の動作を分類して「タグ」等の付加情報として活用する．これにより，特徴的な動作を目印にすることで作成者の動画編集作業を簡易化させたり，利用者側がタグ等を用いて特定の作業動画を検索／閲覧するといった使い方ができる可能性がある．本稿
ではその第一歩として，スマートウォッチで得たセンサデータから動作検出を行うための基礎システムを構築した．

Copyright is held by the author(s).
公立はこだて未来大学
1https://fabble.cc/2
http://www.instructables.com/

∗

2

関連研究

モノづくりを支援する研究として，動画のカット等の編集を半自動的に行い有益なチュートリアルビデオを作成するシステム [1] 等が提案されている．
ウェアラブルデバイスを用いた動作認識に関連する研究としては，手首に装着した磁気センサを用いて使用している電子機器を判別するシステム [2] や，スマートウォッチ搭載の 9 軸 IMU センサを用いて使用した物と人物を特定するシステム [3] 等が存在する．このように，多くのマニュアル作成支援システ
ムや動作認識システムが存在するが，モノづくり中の「動作」を認識してマニュアル作成等に活用する試みはあまり行われてこなかった．本研究では，動画に加え，スマートウォッチ搭載のセンサを用いてモノづくり中の動作を記録／検出することで，モノづくり支援を目指す．

3

提案

本システムは，作業台上部に取り付けたスマートフォンカメラと作成者が両手に装着するスマートウォッチで構成され (図 1)，俯瞰視点の動画とユーザの動作データを組み合わせて，モノづくり中の作業検出を試みる．具体的には，スマートウォッチに搭載した 3 軸加速度／角速度センサを中心としたモーションデータを用いて，組み立て作業中の作成者の大まかな手の動作を記録する．次に，これらのデータを機械学習を用いて分類し，作業内容を自動的に判断する「タグ付け」等に利用する．
本システムでは，汎用 3D プリンタやレーザーカッター等で出力した部品を机の上で組み立てる作業を主に想定している．この作業環境における動作（部品はめあわせ，工具とネジによる固定等）をモーションデータとして記録することで，動画だけでは判別しにくい「手技」を記録／伝達できる可能性がある．また，動画中の作業内容をモーションデータWISS 2017から推定出来れば，動画に対して自動的にタグ付けを行い，マニュアル作成の負担の軽減につながる可能性がある．

図 2. タグ付け Web アプリの操作画面

図 1. 記録システムの構成 (左図) ／外観 (右図)4実装

本システムは主に「記録アプリ」「タグ付け Webアプリ」「動作検出」で構成される．

4.1

記録アプリ

記録アプリは，スマートフォンとして Android 端末（MotoG5 Plus)，スマートウォッチとして Huawei
Watch2 を採用し，実装を行った．スマートフォン
では，動画撮影とスマートウォッチからモーションデータの受信を行い，Web サーバにアップロードする．モーションデータは CSV ファイルとして構成し，タイムスタンプ／ 3 軸加速度／角速度／心拍等を記録する．スマートウォッチでは，スマートフォンアプリの遠隔操作と加速度／角速度／心拍データの取得，スマートフォンへ送信ができる．なお，デー
タ取得の周期は 100Hz とした．

4.2

タグ付け Web アプリ

タグ付け用 Web アプリの操作画面を図 2 に示す．
本ツールでは．動画再生画面とモーションデータのグラフを描画している．グラフ上では，動画の再生時間の指定や範囲に対するタグ付けを行うことができる．動画の再生時間の指定は，モーションデータ上の任意の位置をクリックすると，指定した位置の動画が再生される．また，現在の再生位置は灰色のバーにより確認することができる．さらに，タグ付けしたいモーションデータの範囲をドラッグアンドドロップし，右下のテキストボックスでタグを入力して，作成ボタンをクリックすることでタグ付けを行うことができる．また，付けたタグは，グラフの上部に表示される．

4.3

動作検出

将来的な自動タグ付けの実現を目指して，タグ付けアプリで記録したタグに基づいて，類似作業の動作検出を試みた．手法としては，滑り窓法とDTW(Dynamic Time Warping) 法を採用した．学
習データは，タグに基づいてモーションデータから抽出した．本研究では入力データと学習データを比較し，DTW 距離が閾値を下回った場合，そのタグを検出結果とした．今回は，ペーパークラフトの組み立て過程を記録し，タグ付け Web アプリを用いて，組み立ての基礎的な動作 ( パーツを持つ／はめる／置く) の学習データを作成し，動作検出を試みた．

5

まとめと今後の展望

本稿では，スマートウォッチを用いたモノづくりの組み立て動作の検出に対する試みについて記述した．今後も引き続き，本システムを用いてデータ収集を行い、モノづくりの動作検出を試み，動作検出精度の向上を目指す．また，様々なモノづくり過程でも動作を検出できるように考慮し，検出できる動作の種類を増やしつつ，アプリケーションに落とし込んでいきたい．

謝辞
本研究は JST CREST の支援を受けた．

参考文献[1] Pei-Yu Chi et al. DemoCut: generating concise
instructional videos for physical demonstrations.
In Proceedings of UIST ’13, pp.141-150, 2013.
[2] Edward J. Wang et al. MagnifiSense: inferring device interaction using wrist-worn passive magneto-inductive sensors. In Proceedings ofUbiComp ’15, pp.15-26, 2015.
[3] Juhi Ranjan et al. Object hallmarks: identifying
object users using wearable wrist sensors. In Proceedings of UbiComp ’15, pp.51-61, 2015.