距離画像による衛生管理に向けた手の動作検出に関する研究
製品・機能評価課 佐々木克浩*1、デジタルものづくり課 岩坪 聡*2、生活工学研究所 塚本吉俊
1. 緒言

で、取り込み周期を 30 フレーム/秒に設定し、データ処理

現在、WHO のガイドライン等に推奨する手洗いの手順等が示されているが、食品工場や病院において必ずしもを行うピクセル数は解像度の半分とした。
手距離画像センサ

遵守されておらず、食中毒や院内感染を引き起こす原因zになっている。このため、所定の手順で手洗いを行ったかyを自動管理できるシステムが望まれる。そのシステムに

基準距離dref1)

向けた手洗い動作の認識技術 として、本研究では、距離x領域内のデータd0
領域1 領域2d2d1

画像センサを用いて手の姿勢と動きの両方を考慮した動作認識を目指して研究を進めている。本年度は、昨年度のシステム 2)を基盤として、手洗い種類を識別するための特hw1、h1 w2、h2

特徴量xyw

図 1 姿勢に関する特徴量の概略図徴量を取得するシステムを構築し、特徴量の計測と簡易的な動作識別実験を行った。

領域内データ
距離画像センサ

手z2. 特徴量およびシステム
手の姿勢を概略的に把握する狙いで、図 1 に示す特徴

基準距離dref量を検討する。手の前方付近に距離画像センサを設置し、距離データについて小さい順に Nave 個を平均することで、手の先端付近として基準距離 dref を定める 2)。手を含むと特徴量仮定する距離範囲は dref～dref+d0 とし、別途求める重心座

Snn-pp

d0
Fフレーム
分積算

重心Dmax

yx

前フレーム

現フレーム

ピクセル数算出
Mnn × Mpp

図 2 動きに関する特徴量の概略図

標を中心に、x、y 軸についてそれぞれ±X、±Y の範囲を対象とする。所定領域内のデータについて、x、y 軸それ

3. 実験

ぞれ最小値と最大値を求めて、外接する幅 w と高さ h（ピ3.1 特徴量の計測クセル）を算出する。特徴量は、図 1 で示す 2 つの所定

代表的な手洗い方法として、図 3 に示す①～⑤の動作

距離領域で導出し、領域 1 の場合に幅 w1 と高さ h1、領域を対象とした（水や洗剤は用いない模擬動作）。各動作を2 の場合に幅 w2 と高さ h2 と定義する（F 個のフレームの個別に行った際の計測を 2 セット行った。なお、立ち位平均と dref による補正処理あり）。

置は予め指定した。データ処理の条件について、Nave=50、手の擦り合せに伴う左右の手の動作情報を間接的に取X=Y=150pixel、d0=150mm、Dmin=10mm、Dmax=80mm、得するため、腕付近の動きの指標として図 2 に示す特徴

d1=50mm、d2=70mm、F=15 とした場合における特徴量の量を検討する。腕を含むと仮定する距離領域は dref+d0 よ

計測結果の一例を図 4 に示す。同図では、1 セット 1 動作

り長く、dref+d0+Dmax 以下とする。現フレームと前フレーあたり 15 個のデータを抽出し、2 セット分である 30 個の重心の x 座ムの距離の差分値がDmin～Dmax の範囲内で、データの平均値と標準偏差をそれぞれ黒丸とエラーバー

標よりも小さいデータのピクセル数を Mnp、大きい場合ので示している。また各特徴量は、動作①～⑤の平均値と標それを Mpp とする。同様の手順で、距離の差分値が負の場準偏差がそれぞれ 0 と 1 になるように正規化している。

合は Mnn、Mpn とする。左右の腕が相反して z 軸方向に動同図(a)および(b)より、手が縦向きである動作①と③は、く擦り合せの指標として、Mnn×Mpp の F フレームの積算

相対的に、w1 が小さく、h1 が大きいことがわかる。一方

値 Snn-pp を算出する。同様に、Mnp×Mpn の F フレームの積

手が横向きである動作②と⑤は、w1 が大きく、h1 が小さ算値 Snp-pn も求める。

い。また、同図(c)および(d)より、手首が開き気味である

上記の特徴量を取得するため、距離画像センサ

動作④と⑤は w2 が大きく、低姿勢の動作⑤は h2 が小さ（Creative 社製 Intel RealSense SR300）とパーソナルコン

い。次に、同図(e)および(f)より、主に両手を z 軸方向に相ピュータを用いてシステムを構築した（プログラミング

反して動かす動作①と③は Snn-pp と Snp-pn が大きく、動作②

言語 C++と OpenCV 利用）。
距離画像は、解像度が 640×480④⑤との違いが表れている。以上より、手の姿勢や腕の動きとの関連可能性を有する特徴量を得ることができた。

*1 現

生活工学研究所、*2 現

企画管理部
富山県產業技術硏究開発センタｰ硏究報吿 No.34 (2020)9

あたり 4 個のデータを手動で抽出し、4 セットを学習用データ、残りを評価用データとして、5 回の評価を行った。
なお、学習と評価は OpenCV の機能 3)を利用し、それぞれtrainAuto 関数と predict 関数を適用した。本評価の結果、

図 3 手洗い動作

動作①～⑤ともに平均 8 割以上の正答が得られた。動作①22110(a)-2テムの基礎的な動作を確認できた。本研究の特徴量は、抽出する範囲等を距離やピクセル数で規定しているため、各0-22211正規化h2

正規化w2類似しているためと考えられる。以上の結果から、本シス所定条件の最適化が今後の課題となる。その際に、手の大きさ等の個人差の影響が懸念されるため、実用上は、RFID-1-10-1(b)タグ等により個人を認証して、個人ごとに所定条件を設定することが考えられる。また、動作②④⑤については左右の手を組み替えた動作もあり、それらの識別に向けては、Mnn や Mpp を含めた特徴量の検討が必要と考えられる。

04. 結言-1(c)-2-2(d)5 種類の手洗い動作を対象として、6 種類の特徴量の計33測と簡易的な動作識別の実験結果例を示し、構築したシ22ステムの基礎的な動作を確認した。今後は、水場における

11

複数被験者に対する多数データ取得による動作識別の検0証実験とともに、特徴量や所定条件の最適化が課題であ正規化Snn-pp

正規化Snp-pnと③を誤認識する場合があったが、これは①と③の動作が標準偏差

正規化h1

正規化w1

平均値

0-1-2(e)①② ③ ④
手洗い動作⑤る。また、本システムは、距離画像センサを用いた動作検-1-2(f)①② ③ ④手洗い動作⑤

図 4 特徴量の計測結果例(a) w1, (b) h1, (c) w2, (d) h2, (e) Snp-pn, (f) Snn-pp

出の基礎的な枠組みとして、他の動作認識への展開も模索したい。
参考文献
1) B. Xia et al.: Proceedings of the 17th Irish Machine Vision
and Image Processing conference (2015) 43.

3.2 動作識別の簡易評価
3.1 で検討した 6 種類の特徴量を採用して、分類器としてサポートベクトルマシン 3)を用いて、簡易的な動作識別実験を行った。動作①～⑤（擦り合せ 10 回を指示）を連

2) 佐々木 他, 富山県産業技術研究開発センター研究報
告, No33 (2019) 28.
3) 中村 他, OpenCV によるコンピュータビジョン・機械続して行った際の計測を 5 セット行った。1 セット 1 動作

学習入門, 講談社 (2017)キーワード：距離画像、手洗い、動作、特徴量、サポートベクトルマシン
Detection of Hands Motions for Hygiene Management Using Depth Camera
Product and Function Evaluation Section; Katsuhiro SASAKI*1, Digital Manufacturing Section Satoshi IWATSUBO*2and Human Engineering Section; Yoshitoshi TSUKAMOTO
A system for detecting features involving hand poses and arm motions was constructed using a depth camera placed in frontof a human. In the system, the data processing algorithm for acquiring six feature quantities was implemented to recognize thefive hand washing motions. The fundamental performance of the system was confirmed.

10Reports of the Toyama Industrial Technology R&D Center No.34 (2020)