立石科学技術振興財団

助成研究成果集(第29号) 2020

[ 研究助成 (C) ]距離センサアレイを用いた前腕形状計測に基づく手の動作推定
Estimation of Hand Motion Based on Forearm Deformation Measured with a Distance Sensor Array2187007

研究代表者

奈良先端科学技術大学院大学
助 教
趙
先端科学技術研究科 情報科学領域(助成受領時：奈良先端科学技術大学院大学 博士後期課程)

崇貴

このような動作についてもロバストに推定する[研 究 の 目 的]には，深層筋の活動についても取得可能な入力
手の動作と我々の日常生活は密接に関係して情報を利用する必要ある。

いる。我々は手を用いることにより，日常生活

そこで，筆者は皮膚形状に着目した動作推定

における器用な物体の操作や把持を実現してい手法を提案する。皮膚形状は一種の機械的な生る。この手の動作を解析すべく，多くの動作推体信号であり，計測部位下の筋肉の活動のみで定手法が開発されており，Virtual Reality や電はなく，骨の変位や腱の変形によっても変化す

動義手，外骨格デバイスの入力インタフェースる。前腕の回内外動作の際には，深層筋の活動のみではなく，医療福祉，スポーツ分野におけによって橈骨と尺骨が大きく変位する。そのたる動作計測などに応用されている。

め，骨の変位によっても変化する皮膚形状を用

手の動作推定においては，カメラから取得さいることにより，前腕の回内外動作についてもれる画像情報や，手や指に装着された Inertial

ロバストな推定が可能になる。本研究では皮膚Measurement Unit から取得される慣性情報が形状に基づき，機械学習によってモデルを作成広く用いられている。これらの入力情報では手することにより，動作を連続的に推定する手法の外観や姿勢を取得することができる反面，隠を提案する。

れ領域や自然な把持阻害が課題として挙げられ[研究の内容，成果]る。
手指以外の身体部位に装着可能なウェアラブ
ルセンサによって環境・条件の影響を受けずにⅠ．距離センサアレイ

計測可能な入力情報として生体信号が挙げられ

本研究では，前腕の回内外の際に顕著に変化る。生体信号に基づく手法においては手の動作が生じる前腕における皮膚形状 (前腕形状) を，に関与する体組織の活動から手の動作を推定す

図 1 に示す距離センサアレイを用いて計測する。

る。特に，生体信号のなかでも筋肉の活動を非距離センサアレイは 10 チャンネルの距離セン

侵襲に計測可能な表面筋電位は広く用いられてサユニット，調整機構から構成される。

いる。一方，表面筋電位には周囲の筋肉や皮下距離センサユニットは下部の距離センサから組織の影響により深層部に位置する筋肉である上部のプレートまでの距離を電圧に変換して出深層筋の活動を取得することが原理的に困難と力する。プレートと距離センサの間には低圧縮いった制約がある。深層筋の活動は前腕の回内残留歪の特性を持つスポンジが配置されており，外のような器用な物体の操作に関与している。

形状の変化によって上下に変位する。距離セン― 1 ―立石科学技術振興財団

図1

助成研究成果集(第29号) 2020

距離センサアレイ

サユニットの出力は，フィルタやアンプを用いずに A/D 変換器のみで取得可能なシンプルな図2信号である。

動作推定の流れ10 チャンネルの距離センサユニットを上下が非対称な楕円の形状に沿って配置した。前腕特徴抽出の後，学習フェイズにおいては，前においては尺骨側に太い屈筋が位置しているこ腕形状から抽出された特徴ベクトルと同時に取とを考慮し，橈骨側に比べ尺骨側が大きくなる得した手の動作を用いて回帰器を作成する。本ようデザインした。

手法では手の動作を手の屈曲・伸展に関与する調整機構は，様々なユーザの前腕サイズに適関節 (θ )，手を閉じる・開くに関与する関節合可能なよう搭載した。各チャンネルの台座に(θ )，前腕の回内外に関与する関節 (θ  ) の 3配置されたダイヤル式の機構により，サイズを種類の関節で表現する。手の動作の取得には，調整できるようになっている。

赤外線ステレオカメラベースのハンドトラッキングデバイスである Leap Motion (Leap Mo-Ⅱ．動作推定手法

tion Inc.)を用いる。学習には Support Vector

距離センサアレイによって計測された前腕形Regression (SVR)を用いて，各関節ごとに回状に基づいて動作を推定する。本手法では動作

帰 器 を 作 成 す る。SVR の カ ー ネ ル 関 数 に はのクラスではなく，関節角度を推定することにRadial Basis Function (RBF) カーネルを用いより，連続的に手の動作を推定する。

る。

推定の流れを図 2 に示す。初めに距離センサ

その後，推定フェイズでは学習された回帰器

アレイによって計測された前腕形状から特徴をを用いて特徴ベクトルから手の動作を推定する。

抽出する。本手法では各チャンネルのフレーム平均を特徴として用いる。距離センサアレイのⅢ．検証実験

各チャンネルの出力は 2000Hz で計測され，フ・条件

レーム長 128 サンプル，フレームシフト 32 サ

5 名の参加者 (20 代，男性) を対象として実ンプルで，各フレームごとに 10 次元の特徴か験を行った。参加者は動作の間に中立位を挟みらなる特徴ベクトルを算出する。

つつ，手首の屈曲・伸展，手を閉じる・開く，― 2 ―立石科学技術振興財団

前腕の回内・回外の順で手を動作させた。この助成研究成果集(第29号) 2020

与する関節 (θ  ) で 5.3°となった。

6 動作を 1 セットとし，同様の動作を 1 分間で

図 3 に推定結果の一例を示す。赤い実線が推5 セット行った。計 5 試行のデータを参加者ご定値であり，青い破線が実測値である。推定値とに計測した。

が実測値に追従しており，大きな時間的な遅れ

5 試行分のデータに対して，5 分割交差検定もないことが確認できる。特に，深層筋の活動を実施し，性能を評価した。回帰モデルは参加に関与する前腕の回内外に関する関節 (θ  ) に者ごとに学習し，RBF カーネルのパラメータついても連続的に推定可能であることが確認では γ=2，SVR のコストパラメータは C=256きる。とした。この値は実験的に決定した。評価指標

これらの実験結果から，手の動作を深層筋のには Root Mean Squared Error (RMSE) を用活動が関与する関節を含めた 3 種類の関節からいて，Leap Motion により計測された実測値と連続的に推定可能なことを確認し，動作推定に提案手法による推定値間の誤差を求めた。

おける皮膚形状の有用性を確認した。

・結果[今後の研究の方向，課題]

参加者ごとの誤差と全体での誤差を表 1 に示す。各関節における誤差は手の屈曲・伸展に関与する関節 (θ ) で 4.6°，手を閉じる・開くに手法の拡張
これまでの研究結果から，前腕の回内外に関関与する関節 (θ ) で 6.6°，前腕の回内外に関する関節を含む 3 種類の関節角度を前腕形状に
表1推定結果の RMSE [°]よって推定可能なことを確認している。そこでIDθθθ

A

4.04.95.3BC5.74.66.77.65.15.2D4.67.84.8E

4.0

5.75.9れる手の動作を深層学習によって推定している。

Total

4.6

6.65.3各関節を独立で動作させる単一動作のみではな

図3

手法を拡張し，手指・前腕の 3 次元姿勢を前腕形状のみから推定する手法を開発している。この手法では，より多くの自由度によって表現さ動作推定の一例― 3 ―立石科学技術振興財団

く複合動作である日常生活動作についても対象

国際学会とし，動作を連続的に推定可能なことを事前実Sung-Gwi

験により確認している。前腕形状のみからより遠位の身体部位の動作を推定することができれば，様々な計測環境・条件での利用が可能になる。

Cho,助成研究成果集(第29号) 2020

Tetsuya

Kurasumi,

Masahiro

Yoshikawa, Ming Ding, Jun Takamatsu, andTsukasa Ogasawara, “Estimation of Forearm Pose
Based on Upper Arm Deformation Using a Deep
Neural Network,” in Proceedings of the IEEE International Conference on Robotics and Biomimetics(ROBIO2018), pp. 1245-1250, 2019.

また，本研究では前腕における皮膚形状に着Tetsuya Kurasumi, Sung-Gwi Cho, Ming Ding, Gustavo

目したが，前腕のみではなく上腕における形状

Alfonso Garcia Ricardez, Jun Takamatsu, and変化にも動作推定に有用な情報が付与されていTsukasa Ogasawara, “Simultaneous Estimation ofることを確認している。そのため，今後は様々な計測位置における皮膚形状を密に計測し，よElbow Joint Angle and Load Based on Upper ArmDeformation”, in Proceedings of the IEEE International Conference on Cyborg and Bionic Systems(CBS), pp. 136-141, 2019.

り複雑な動作の推定を目指す。

Sung-Gwi Cho, Masahiro Yoshikawa, Ming Ding, Jun
Takamatsu, and Tsukasa Ogasawara, “Estimation

運動機能評価への応用

of Hand Motion Based on Forearm Deformation,” in

これまでは動作推定の入力情報としての皮膚Proceedings of the IEEE International Conference

形状の有用性に着目してきたが，今後はリハビ

on Robotics and Biomimetics (ROBIO2018), pp.

リテーション・スポーツ分野への応用についても着手していく。動作推定の研究を通じて皮膚2291-2296, 2018.
国内学会
倉角哲也，趙崇貴，石倉智貴，丁明，高松淳，小笠原

形状には様々な体組織活動が付与されているこ司，横田千晶：“他動運動時の上腕形状変化に基づとを確認しており，運動機能評価への利用可能

く上肢リハビリテーションシステムの開発”，ロボ性についても実験的に確認している。得られた皮膚形状への理解と知見をもって，体組織の活動の推定による運動機能評価などへの応用を目指す。

ティクス・メカトロニクス講演会 2020，2A2-E08，
2020
趙崇貴，倉角哲也，吉川雅博，丁明，高松淳，小笠原司：“深層学習を用いた上腕形状変化に基づく肘と前腕の関節角度推定”，第 37 回日本ロボット学会学術講演会，1N2-02，2019．
倉 角 哲 也，趙 崇 貴，丁 明，Garcia Ricardez Gustavo
Alfonso，高松淳，小笠原司：“上肢動作推定のため[成果の発表，論文等]の上腕形状計測可能な距離センサアレイの開発”，論文誌
Sung-Gwi Cho, Masahiro Yoshikawa, Ming Ding, Jun
Takamatsu, and Tsukasa Ogasawara, “Machinelearning-based Hand Motion Recognition System byMeasuring Forearm Deformation with a DistanceSensor Array,” International Journal of Intelligent
Robotics and Applications, vol. 3, no. 4, pp. 418-429,
Nov, 2019.

― 4 ―ロ ボ テ ィ ク ス・メ カ ト ロ ニ ク ス 講 演 会 2019，
2P1-N06，2019．
趙崇貴，吉川雅博，丁明，高松淳，小笠原司：“距離センサアレイを用いた上腕形状計測に基づく肘関節角度の推定”，第 36 回日本ロボット学会学術講演会，
3A1-05，2018．