情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19002
2019/3/6

ウェアラブルセンサを用いた
ジェスチャ中の特定動作発生タイミング推定手法
村尾 和哉1

山田 浩史2

寺田 努2

塚本 昌彦2

概要：加速度センサや角速度センサなどのモーションセンサを搭載したウェアラブルデバイスの普及にともない，モーションセンサから得られたデータを用いてジェスチャの認識を行う研究が活発に行われている．ジェスチャは 1 回きりの動作であり，運動の軌跡が重要な意味をもつため，ジェスチャ部分の波形を切り取った後，テンプレートマッチング手法を用いてジェスチャの認識を行う．しかし，ジェスチャ中の特定の動作が行われたタイミングを正確に検出する手法はこれまでに存在せず，ユーザが投球動作を行うことでゲーム上のキャラクタに投球動作を行わせることは可能であるが，ユーザのリリースポイントなどの特定の瞬間を反映させることは困難である．筆者らはこれまでに競技かるたにおける札取得の瞬間（札取得時刻）を推定する手法を提案し，札を先に取得した人を判定する札取得者判定システムを構築した．
本研究では，先行研究を競技かるた以外に適用するために推定手法の改良を行い，さまざまなジェスチャ
中の特定の動作の発生タイミングを検出する手法を提案する．手首に加速度・角速度センサを装着して，野球の投球，バスケットボールのフリースロー，およびダーツのスローの 3 種類の動作のリリースポイ
ントを推定した．リリースポイントの推定誤差が ±12[ms] 以下の割合は，野球で 61.9%，バスケットで87.6%，ダーツで 91.1%となった．

1. はじめにスマートウォッチやスマートウォッチなど，モーション
センサを搭載したウェアラブルデバイスの普及にともなは動きの軌跡が重要な意味をもつため，ジェスチャの認識
ではジェスチャ部分の波形を切り取った後，dynamic-time

warping（DTW 距離）[2] などの時系列波形の類似度を計算する手法が用いられる．

い，モーションセンサから得られたデータを用いてジェス

DTW 距離の計算において，同じ動作であっても動作速

チャの認識を行う研究やアプリケーションの開発が活発

度が部分的に異なる場合は波形の形状がもっとも一致するに行われている．Moﬀ 社の Moﬀ Band[1] は，モーション

ように非線形の時間伸縮を行っている．そのため，ジェス

センサが搭載されており，手首装着型デバイスで取得した

チャ認識ではジェスチャ中の特定の動作が正しい瞬間に行

データを無線でスマートフォンなどの端末に送信することわれているかは考慮されておらず，Wii Sports[3] など既で，腕の動作に合わせて端末からさまざまな音を出すこと

存のジェスチャ認識を用いたゲームでは，ユーザが投球動ができる．また，Apple 社の iPhone や Android 端末など作を行うことでゲーム上のキャラクタに投球動作をさせるのスマートフォン，任天堂社の Wii などの家庭用ゲーム機

ことができるが，ユーザのリリースポイントなどの情報をのコントローラにもモーションセンサは搭載されており，ゲーム上のキャラクタに反映させることはできない．

センサの値からデバイスの傾きや動きを検出し，動作を認

仮に，学習データに特定の動作の瞬間の時刻がラベル付識することで，ユーザは画面の操作や立体図形の描画など

けされていれば，DTW は入力データと学習データがもっを直観的に行うことができる.

とも一致するように時間伸縮を行うため，学習データに付

ジェスチャは「歩行」などの周期的な運動，「立つ」などの与されたラベルの時刻に対応する入力データの時刻が検出一定の値を取り続ける姿勢と異なり，開始点と終了点が明したい動作が発生した時刻と推定できると考えられる．し確な 1 回きりの動作である．一般的に運動や姿勢の認識でかし，ボールを投げるなどのジェスチャ動作の波形は複雑

はある一定の長さの波形を切り出して平均や分散などの特であるため，DTW 距離の計算において時間伸縮された波徴量を抽出して機械学習により判別を行うが，ジェスチャ

形の形状が一致しない場合も多く，学習データに付与され

1
2

立命館大学情報理工学部
神戸大学大学院工学研究科© 2019 Information Processing Society of Japanた時刻に対応する入力データの時刻を検出対象の動作の発生時刻と推定すると誤差が大きくなる．

11情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19002
2019/3/6

筆者らはこれまでに競技かるたにおいて，加速度センサ

村尾ら [6] は，加速度波形の自己相関を計算することでと角速度センサを手首に装着した競技者に対して，札取得運動の定常性を判定し，定常性が崩れた時にジェスチャ認の瞬間（札取得時刻）を推定する手法を提案し，札を先に取識を行うことで，従来手法では認識精度が低かった運動中得した人を判定する札取得者判定システムを構築した [4]．

のジェスチャの認識精度を大幅に改善している．しかし，最初に競技かるたに着目した理由として，競技かるたは百この研究では定常性が崩れた瞬間がジェスチャの正確な開人一首の札を素早く取り合う対人競技であるが，基本的に始点であるかなどの評価を行っておらず，定常性であるか審判がつかないため，目視による判定が困難な場合があっどうかの判定を 800[ms] ごとに行っているため，動作のタ

たとしても，判定は競技者同士にゆだねられ，議論に時間

イミングを十数ミリ秒の精度で検出する用途に用いることを要し，同時並行で開催されている他試合の進行も遅延すは難しい．

るためである．札取得者判定システムでは，競技者の手首

村田ら [7] は鍵を閉める，本を読むといった動作の開始に加速度センサと角速度センサを装着し，札取得の動作点を検索するシステムを構築している．具体的には，動作（以降，払い）を行った際のデータを取得することで競技者が生じている区間におけるセンサデータを，ユーザの目視が札を取得した瞬間の時刻を推定し，その時刻から札取得

によって開始点がラベル付けされたセンサデータと比較者を判定している．本研究では，札取得時刻を推定する手

し，もっとも類似している点を開始点としている．比較の法を競技かるた以外の動作に適用するために，推定手法の際は，センサの生データだけでなく，周波数解析，微分，改良を行い，ジェスチャ中の特定動作抽出手法を確立する．

積分の処理をしたデータを使用している．しかし，このシ

提案手法はウェアラブルデバイスを用いたアプリケー

ステムでは開始点の推定誤差が 3 秒以内になる確率が最大

ションに組み込むことを想定している．スマートウォッチ

でも 50%であり，数十ミリ秒単位での動作検出への適用はを装着して，バスケットボールにおいてフリースローをす困難である．

る場合，既存手法ではデバイスに内蔵されたセンサによりまた，吉澤ら [8] は加速度センサのデータから行動の変

活動量を記録することで振り返りができるが，提案手法を化点を検出することで，行動認識の結果の出力までの遅延用いることでフリースロー動作のリリースポイント時のを短縮している．しかし，この手法では行動の変化点の検ユーザの手首の傾きなどの詳細な情報を振り返ることがで出にフィルタを使用しているため，真の変化点よりも検出

きる．

時刻が遅れる可能性が高い．変化点の検出時刻の適合率が2. 関連研究
本節では，ウェアラブルセンサを用いた行動認識における特定の動作の検出に関する研究を紹介する．

50%を超えるのは，1800[ms] の遅れを許した際である．そのため，先にも述べた通り数十ミリ秒程度の精度で動作の瞬間を検出する用途にこれらの手法を適用するのは困難である．

ウェアラブルセンサを用いた行動認識では機械学習を用

筆者らはこれまでに，札取得の時間差が数十ミリ秒程度いて未知の行動を，あらかじめ定義された行動クラスのいとなる競技かるたにおいて札取得者を判定できるように，

ずれかに分類する目的以外にも，特定の動作が起こった瞬

モーションセンサを用いて，ジェスチャ中の特定動作をミ間や動作が変化した瞬間を検出して，問題の解決やアプリ

リ秒精度で抽出する手法を提案した [4]．本研究では，提案

ケーションの提供をしている事例がある．菅家ら [5] はド手法を競技かるた以外に適用するために推定手法の改良を

ラムスティックに加速度センサを取り付け，実際に目の前行い，さまざまなジェスチャ中の特定の動作の発生タイミに存在する物理的に打面のあるドラム楽器（実ドラム）とングをミリ秒単位の誤差で検出する手法を提案する．

目の前に存在せず空間上の仮想打面を叩打することで演奏できる疑似的なドラム（仮想ドラム）の叩打の識別を行い，仮想ドラムの叩打時のみ音を出力する Airstic Drum を提案している．実ドラムを叩打すると実際に音が鳴り，仮想3. 提案システム
本節では，ジェスチャ中の特定動作発生タイミング検出
手法について述べる．

ドラムを叩打とシステムから音が出力されるが，叩打が実ドラムであるか仮想ドラムであるかは，叩打の瞬間以前に

3.1 システム構成

判断しなければならない．このシステムでは，叩打と同時

提案システムでは図 1 に示すように，ユーザの利き手に仮想ドラムの音を出力するために，叩打直前のセンサ

手首に無線 3 軸加速度・角速度センサ（ワイヤレステクノ

データに閾値を設けることで叩打動作と音の出力のずれを

ロジー社製，WAA-010）[10] を装着する．そして，ジェス軽減させている．しかし，叩打の瞬間と音の出力の瞬間のチャの際に得られたデータをもとに特定の動作を行った時ずれの評価を定量的には行っていない．また，叩打の検出

刻を推定する．センサのサイズは 39×44×12[mm]，重さはに特化したアルゴリズムであり，叩打以外の動作に適用で20[g] と小型軽量である．

きるか不明である．

© 2019 Information Processing Society of Japan

図 2 にシステムの処理の流れを示す．ユーザの動作は，312情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19002
2019/3/6

ax (Tstart ) ax (Tstart + 1)ay (Tstart ) ay (Tstart + 1)a (T z start ) az (Tstart + 1)
G=
gx (Tstart ) gx (Tstart + 1)
 g (T y start ) gy (Tstart + 1)
gz (Tstart ) gz (Tstart + 1)

···
···
···
···
···
···


ax (Tend )ay (Tend )

az (Tend )

gx (Tend )

gy (Tend ) 
gz (Tend )(2)

3.3 学習データの準備
提案システムは，動作区間データと学習データを比較す
図 1

ることで特定動作発生時刻を推定する．本研究で対象とす

3 軸加速度・角速度センサの装着場所

る特定動作は必ずしも波形のピークに発生するとは限らな
生データ
の取得

加速度・
角速度センサ

動作の
抽出

動作発生
時刻の推定

推定結果
の出力

類似度の計算確信フラグの判定

い．提案システムでは，正確な特定動作発生時刻をラベル付けするため，960fps で撮影可能なハイスピードカメラを用いて投球動作を撮影した．動作採取後，ハイスピードカ
メラによる映像をもとに特定の動作発生時刻を加速度デー

学習データタに付与し，正解データを作成した．

図 2 特定動作発生タイミング推定のアルゴリズム

3.4 動作時刻の推定
軸加速度と 3 軸角速度データを記録するように設計された手首に装着したデバイスによって計測される．センサデー
タは Bluetooth によってユーザが保持するスマートフォンなどの端末に送られ，端末に搭載されたシステムが学習データと計測データを比較し，計測データ内のあらかじめ指定された特定の動作が発生したタイミングを推定する．
学習データには検出対象のジェスチャ動作のデータと指定された動作が発生した正確な時刻が含まれており，事前に集めておく．その後，推定した時刻の確信フラグを判定し，確信フラグをもとに最終的な推定タイミングを出力する．
本節では提案システムの各処理について詳細に説明する．

センサデータはジェスチャを行う前後の区間でも計測されるため，システムは加速度，角速度データからジェス
チャ動作を検出し，そのデータを抽出する．提案システム
は次式に示す 3 軸加速度の合成値 A(t) が時間 Ts の間連続して閾値 T hs を超えた時刻 Tstart をジェスチャ動作の開始時刻とし，その後，3 軸加速度の合成値 A(t) が時間 Teの間連続して閾値 T he を下回った時刻 Tend を動作の終了時刻とする．

√a2x (t) + a2y (t) + a2z (t)グから推定する手法（手法 2）の 2 つを利用する．これら

2 つの手法を組み合わせることで，提案システムは動作時刻を推定する．それぞれの手法の詳細なアルゴリズムを以下で述べる．

3.4.1 手法 1：特徴量を用いた手法
特徴量を用いた手法ではスライディングウィンドウを用いる．式 2 で得られた動作区間データ G に対して幅 3 サン
プル [t − 1, t, t + 1]，スライド幅 1 サンプルのウィンドウを

t = Tstart + 1 から t = Tend − 1 まで走査して特徴量を抽出する．特徴量は，6 軸それぞれの最大値，最小値，分散値（6 軸 ×3 種類=18 次元）および 3 軸角速度の積分値から算3.2 動作区間の抽出

A(t) =

提案システムでは特定動作発生時刻を推定するために，波形の特徴量から推定する手法（手法 1）と波形マッチン(1)

出される手首の角度（3 軸 ×1 種類=3 次元）の計 21 次元で構成され，F (t) = (f1 (t), f2 (2), . . . , f21 (t)) とする．一方，学習データに関しては，特定動作発生時刻 t = Ttouch における特徴量 F (Ttouch ) のみを算出する．
各特徴量はスケールが異なり等価に扱うことができない
ため，

Z(t) =

F (t) − MS

(3)に 従 い 正 規 化 し ，21 次 元 の 特 徴 ベ ク ト ル Z(t) =(z1 (t), . . . , z21 (t))（平均 0，分散 1）を得る．ここで M =ただし，ax (t)，ay (t)，az (t) は時刻 t における x，y ，z 軸

(m1 , · · · , m21 ) および S = (s1 , . . . , s21 ) は正規化前の学習の加速度である．閾値 α および β の値は，予備実験からそデータ F (Ttouch ) の各成分の平均および標準偏差である．

れぞれ 1300mG および 1100mG とした．時刻 t における

i 番目の学習データ Ztr = (ztr,1 , ztr,2 , . . . , ztr,21 ) と入力

x，y ，z 軸の角速度をそれぞれ gx (t)，gy (t)，gz (g) とする

データ Zin (t) = (zin,1 (t), zin,2 (t), . . . , zin,21 (t)) とのユークと得られる動作区間データ G は以下のように表される．

リッド距離を計算すると以下のようになる．

© 2019 Information Processing Society of Japan

(i)

(i)

(i)

(i)

13

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19002
2019/3/6v
u 21u∑ (i)(i)(ztr,j − zin,j (t))2
Euclid(Ztr , Zin (t)) = t

DTWのワーピングパス

(4)

j=1

提案システムは t = Tstart +1 から t = Tend −1 の範囲で t(i)を変化させて，ユークリッド距離 Euclid(Ztr , Zin (t)) を算出

DTW距離最小の学習データ
正確な動作発生時刻する．これをすべての学習データについて，i を変化させるこ
(i)

(i)

とで Euclid(Ztr , Zin (t)) を計算し，Euclid(Ztr , Zin (t)) が(i)最小となる際の時刻 Tmin を探索する．Euclid(Ztr , Zin (t))
が最小を示す時刻 Tmin の前後で入力データの波形と学習
データにラベル付けされた特定動作発生時刻における波形

入力データ
推定される
動作発生時刻が類似していることを意味するため，入力データにおける
時刻 t = Tmin を特定動作発生時刻として推定する．

3.4.2 手法 2：波形マッチングを用いた手法

図 3 DTW を用いた動作発生時刻の推定

波形マッチングを用いた手法では学習データと入力デー
タとの dynamic-time warping (DTW) 距離を計算する．

上式によって得られたコスト f (m, n)/(m + n) が X と Y

DTW は 2 つの時系列波形の距離を最小化するように時間の距離となる．ここで，m + n で除している理由は DTW

軸を非線形に伸縮させて距離計算を行うアルゴリズムであ距離はサンプル数に比例して大きくなるためである．

り，長さの異なる 2 つの波形の距離を計算できる．以下に，最後に，図 3 に示すように，ワーピングパス W 上の学習

アルゴリズムの詳細を示す．簡単のために，1 軸のデータ

データに付与された特定動作発生時刻のインデックスに対を用いて説明する．長さ m の波形 X = (x1 , . . . , xm ) と長応する入力データのインデックスを入力データ上の特定動さ n の波形 Y = (y1 , . . . , yn ) を比較する際，m × n 行列

作発生時刻とする．入力データのインデックスが学習デー

d(i, j) = |xi − yj | を定義する．次に，X および Y のイン

タの特定動作発生時刻のインデックスに複数箇所対応する

デックスのペアからなるワーピングパス W = (w1 , · · · , wk )場合は，最も若い時刻を採用する．

を探索する．ワーピングパスは以下の 3 つの条件を満足

3.5 確信フラグの判定する．

提案手法では対象とするジェスチャの種類は既知である• 境界条件と想定しているが，ユーザが常に学習データと同じような

w1 = (1, 1), wk = (m, n)

動きをするとは限らない．提案システムは，入力データが• 連続性
wk = (a, b), wk − 1 = (a′ , b′ ) ⇒ (a − a′ ≤ 1) ∧ (b − b′ ≤学習データと大きく異なっていた場合でも誤った推定時刻

1)を出力しないために，推定された時刻が信頼できるか否かを表す確信フラグを導入する．

• 単調性
wk = (a, b), wk − 1 = (a′ , b′ ) ⇒ (a − a′ ≤ 0) ∧ (b − b′ ≤

図 4 に確信フラグの判定アルゴリズムを示す．事前に学習データを N サンプル収集したとする．その際，正確な0)
上記の条件を満たす最小のパスを探索するために，以下の特定動作発生時刻は学習データにラベル付けされており，手順を適用する．

学習データ内で N-fold 交差検証を行うことで，手法 1 とInitialization:

手法 2 で独立してぞれぞれ動作発生時刻の推定を行う．交f (0, 0) = 0

差検証の各 fold において，ラベル付けされた時刻（真値）

f (i, 0) = ∞ for i = 1, . . . , mと推定された時刻との差を誤差として算出し，誤差の絶対f (0, j) = ∞ for j = 1, . . . , n

値が α[ms] 以下の場合は推定対象となった学習データに対して確信フラグを「OK」としてに付与し，誤差の絶対値

Do for i = 1, 2, . . . , m

が α[ms] より大きければ確信フラグを「NG」として付与

Do for j = 1, 2, . . . , n

する．つまり，「NG」フラグのついた学習データは残り全 f (i − 1, j − 1)f (i, j) = d(i, j) + minf (i − 1, j)
f (i, j − 1)
Output:Return f (m, n)/(m + n)

© 2019 Information Processing Society of Japanての学習データと類似しておらず，外れ値で信頼性の低い
データの可能性が高い．

(5)

そして，提案システムでは手法 1 および手法 2 による
時刻推定と並行して，学習データの確信フラグを学習した
モデルを用いて，推定時刻の確信フラグ「OK」（高い）か「NG」（低い）かの判定を手法 1 および手法 2 それぞれで

14

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19002
2019/3/6

閾値αの決定方法

確信フラグの学習
学習データ

動作発生
時刻の推定

手法1による
時刻推定

推定誤差≤α[ms]

確信フラグの
ラベル付け

Yes
「OK」

識別器の学習手法2による
時刻推定

No
「NG」

学習データに
ラベル付け
手法1

特徴量抽出

21次元の
特徴量

手法1
J48

動作発生
時刻の推定

推定誤差
≤α[ms]
Yes
「OK」

No

入力データ

「NG」

学習データに
ラベル付け
手法2
DTW距離

手法2

確信フラグの判定

Random Tree

手法1

21次元の
特徴量

手法1
「OK」or「NG」

αの取り得る
範囲の決定

手法2
DTW距離

手法2

「OK」or「NG」

特徴量抽出

α=(Nmin+1)Ts

α=(Nmin+1)Ts

学習データ

交差検証

交差検証
手法1による
時刻抽出

手法2による
時刻抽出

抽出誤差の絶対値の計算
最大値NmaxTs
最小値NminTs

抽出誤差の絶対値の計算
最大値NmaxTs
最小値NminTs

αの範囲決定αの範囲決定(Nmin+1)Ts≤α (Nmin+1)Ts≤α≤(Nmax-1)Ts≤(Nmax-1)Ts判定

図 4 確信フラグの判定アルゴリズム

推定誤差≤α[ms]

Yes
「OK」

No
「NG」

学習データに
ラベル付け

手法2

手法1

J48

手法2
Random Tree

Confusion
Matrix作成

Confusion
Matrix作成

正解率C₁(α)の計算

正解率C₂(α)の計算

α=α+Tsα=α+Ts

DTW距離

Yes

No

3 サンプルのウィンドウから抽出された 21 次元の特徴量

確信フラグのラベル付け

学習データに
ラベル付け

手法1
21次元の
特徴量

(Nmin+1)Ts≤α≤(Nmax-1)Ts実行する．手法 1 では，時刻 t = Tmin を中心とした長さ

No
推定誤差≤α[ms]
Yes「OK」 「NG」

特徴量抽出
識別器の
学習

正解率の
計算

(Nmin+1)Ts≤α Yes≤(Nmax-1)TsNo

C1(α)が最大値を取る時のαを探索

C2(α)が最大値を取る時のαを探索探索されたαを閾値として決定探索されたαを閾値として決定αの決定を説明変数，確信フラグを目的変数として J48 で学習する．手法 2 では，入力データと最小の DTW 距離とる学習

図 5

閾値 α の決定アルゴリズム

データの DTW 距離を説明変数，確信フラグを目的変数として RandomTree で学習する．ここで，J48 は WEKA 上

めた表のことを意味し，2 クラスの場合，2×2 の行列にで実装された C4.5 のアルゴリズムであり，RandomTree

なる．True positive (TP) と True negative (TN) は予測

は，WEKA 上で実装された決定木のアルゴリズムである．

が当たったサンプルの数を表し，False positive (FP) と最終的に入力データに対して手法 1 および手法 2 それぞFalse negative (FN) は予測が外れた数を表す．そして α

れのモデルから 2 種類の確信フラグが得られる．本研究

P +T Nにおける正解率 C(α) = T P +TTN
+F P +F N を，手法 1 では

では確信フラグの判定に，データマイニングソフトである

C1 (α)，手法 2 では C2 (α) として計算する．この処理をWEKA[11] を用いた．

(Nmin + 1)Ts ≤ α ≤ (Nmax − 1)Ts の範囲で行い，手法 1，

ここで確信フラグを付与する際の OK と NG の閾値 α の

2 それぞれで正解率 C(α) がもっとも高くなるときの α を決定方法について述べる．図 5 に閾値 α の決定アルゴリズ

閾値として決定する．正解率が高いということは，確信フムを示す．事前に対象とするジェスチャの学習データを複ラグが「OK」となるデータ群と「NG」となるデータ群を数回収したと仮定する．その際，ジェスチャ中の抽出した高い精度で識別できるということを意味する．つまり，適い特定動作の正確な時刻は学習データにラベル付けされて切な閾値 α を選択することで，特定動作の抽出を行った際

おり，ラベル付けされた特定動作の時刻（真値）と抽出さに α[ms] を超える誤差を減らすことができる．

れた特定動作の時刻との差を計算することで手法 1，2 それ
ぞれで leave-one-out 交差検証により誤差を求める．そし3.6 推定時刻の出力て，ジェスチャを計測する際のセンサのサンプリング間隔

予備実験により，手法 1 および手法 2 で推定された時刻を Ts とすると，抽出誤差は Ts の整数倍で表すことができは入力データによっては誤差が大きくなる場合があることる．そのため，抽出誤差の絶対値の最小値を Nmin Ts ，抽が明らかになったため，提案手法では確信フラグを考慮し出誤差の絶対値の最大値を Nmax Ts とすると，学習データて，手法 1 および手法 2 の結果から最終的な推定時刻を出群が「OK」，「NG」双方のラベルをもつような α の値の範

力する．具体的には，手法 1 および手法 2 から「OK」ま囲は，(Nmin + 1)Ts ≤ α ≤ (Nmax − 1)Ts となる．この範

たは「NG」の確信フラグが得られるため，4 通りの組合せ

囲で α の値を変化させると学習データに付与する「OK」，が存在する．確信フラグが「NG」であるということは，誤「NG」の確信フラグは変化するため，手法 1，2 それぞれ差が大い可能性の高い入力データであることを示唆していで抽出した学習データの特徴量を説明変数，確信フラグをる．提案手法では以下の規則に従って，最終的な動作発生

目的変数として識別器を学習させる．

時刻を決定する．

次に，それぞれの手法における識別器の識別精度を• 手法 2 の確信フラグが「OK」の場合：

確認するために，交差検証により確信フラグの識別結手法 1 の確信フラグに関わらず，手法 2 の推定時刻を

果の ConfusionMatrix を手法 1，2 それぞれで作成する．

採用する．これは，予備実験において手法 2 の精度がここで ConfusionMatrix とは，クラスの識別結果をまと手法 1 よりも優れていたためである．

© 2019 Information Processing Society of Japan15

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19002
2019/3/6

グが「OK」の場合：
手法 1 の推定時刻を採用する．

• 2 つの手法で確信フラグが「NG」の場合：
時刻の推定を行わず，不明と出力する．

4. 評価
本節では，提案手法を野球のピッチング，バスケット

Relative frequency• 手法 2 の確信フラグが「NG」かつ手法 1 の確信フラ

ボールのフリースロー，ダーツのスローの 3 種目の動作に適用した際の推定誤差を評価する．

4.1 野球への適用

図6

0.30

0.270

0.25
0.20
0.15
0.10
0.05
0

0.143

0.159

0.190
0.111
0.048

0.048

0.016

0.016

-12 -9 -6 -3 0 3 6 9
Estimation error [ms]12

野球の投球動作のリリースポイントの推定誤差のヒストグラム

4.1.1 評価環境
野球のピッチャーの投球におけるボールのリリースポイ

であることを示している．また，手法 1 および手法 2 がとントの推定誤差を計測した．推定誤差とはシステムが推定

もに「NG」の確信フラグを出力した結果は 70 回のうち 7

したリリースポイントの時刻と真のリリースポイントの時回であった．その 7 回はすべて被験者 B で発生しており，刻の差とする．3 名の被験者 A，B，C（男性，右利き）の

手法 1 での確信フラグの閾値 α を 3[ms] と短い時間にした

利き手手首に無線加速度センサ [10] を装着し，3 名から合ため，手法 1 での確信フラグがすべて「NG」と識別され，計 70 回の投球動作を採取した．加速度センサのサンプリ

7 回中 1 回発生した推定誤差が −3[ms] の結果も「NG」とング周波数は 333[Hz] とした．

識別された．しかし，それ以外で推定誤差が大きくなると

実験中は，960fps で撮影可能なハイスピードカメラをきは「NG」と識別しているため，確信フラグを用いる手

用いて投球動作を撮影し，投球動作の採取後，映像をも法はリリースポイントの推定に有効であると考えられる．

とに真のリリースポイントの時刻を加速度データに付与
し，正解データを作成した．提案手法を用いて被験者ご

4.2 バスケットボールへの適用とに leave-one-out 交差検証でリリースポイントの推定を4.2.1 評価環境

行った．

4.1.2 結果

バスケットボールのフリースローにおけるボールのリ
リースポイントの推定誤差を計測した．推定誤差はシステ

リリースポイントの推定を行う際に，確信フラグが「OK」

ムが推定したリリースポイントの時刻と真のリリースポイと出力する際の閾値 α を決定するために，3.5 節で提案しントと時刻の差とする．5 名の被験者 D，E，F，G，H（男た手法 1，2 それぞれでリリースポイントの推定を行い，性，右利き 4 名，左利き 1 名）の利き手手首に無線加速度走査する α の範囲を決め，それぞれの α の値における確センサ [10] を装着し，一人 20 回，合計 100 回フリースロー

信フラグの正解率を求めることで，確信フラグの正解率が動作を採取した．5 名の被験者のうち，被験者 E，G は 3最大となる時の α の値を調べた．結果を表 1 に示す．例

年以上のバスケットボールの経験者である．加速度センサ

えば被験者 A の手法 1 の場合，交差検証によって得られのサンプリング周波数は 1000[Hz] とした．

た推定誤差の最小値 Nmin Ts は 0[ms]，最大値 Nmax Ts は

実験中は 960fps で撮影可能なハイスピードカメラを用

18[ms] であり，サンプリング間隔 Ts は 3[ms] であるため，

いてフリースロー動作を撮影し，フリースロー動作の採取

Nmin = 0，Nmax = 6 となり，α の範囲は 3 ≤ α ≤ 15 と後，映像をもとに真のリリースポイントの時刻情報を加速なる．この範囲で α を走査して確信ラベルの正解率 C(α)

度データに付与し，正解データを作成した．提案手法を用を算出すると α = 9[ms] のときに最大値 0.92 となる．

いて被験者ごとに leave-one-out 交差検証でリリースポイ

図 6 にリリースポイントの推定誤差のヒストグラムを示す．横軸は推定誤差を表し，縦軸は相対度数を表す．まントの推定を行った．

4.2.2 結果

た，最終的に 2 つの手法で確信フラグが NG になった場合

4.1 節と同様に，確信フラグの正解率が最大となる時のの判定である推定結果が不明となったものを除いている．

α の値を調べた．結果を表 2 に示す．また，図 7 にリリー

結果から，最大誤差は 12[ms] となり，推定されたリリース

スポイントの推定誤差のヒストグラムを示す．横軸は推定ポイントの推定誤差は，サンプリングの間隔を考慮して，誤差を表し，縦軸は相対度数を表す．また，最終的に 2 つ±3[ms] 以内となる割合は 61.9%となった．

の手法で確信フラグが NG になった場合の判定である推定

野球の投球において，リリース直前の手の速度はおよそ結果が不明となったものを除いている．結果から，最大誤秒速 30 メートルになっているため，推定誤差が 10cm 以内

差は −107[ms] となり，推定されたリリースポイントの推© 2019 Information Processing Society of Japan16

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

表 1

INT19002
2019/3/6

野球の投球動作のリリースポイントの推定結果と閾値 α

Subject A

Subject B

Subject C

Method1(Feature)2(DTW)

1(Feature)2(DTW)

1(Feature)2(DTW)

Nmin Ts [ms]

0

0

0

0

0

0

Nmax Ts [ms]

18

18

48

36

9

6

Range of α[3,15][3,15][3,45][3,33]

[3,6]

[3,3]

max C(α)

0.92

0.96

0.90

0.90

0.90

0.90

arg max C(α)

9

12

3

6

6

3

α

表 2

バスケットボールのフリースロー動作のリリースポイントの推定結果と閾値 α

Subject D
MethodSubject E

Subject F

Subject G

Subject H

1(Feature) 2(DTW) 1(Feature) 2(DTW) 1(Feature) 2(DTW) 1(Feature) 2(DTW) 1(Feature) 2(DTW)

Nmin Ts [ms]

0

1

2

1

0

0

52

0

0

0

Nmax Ts [ms]

8

15

115

113

22

18

366

171

11

17

Range of α[1,7][2,14][3,114][2,112][1,21][1,17][53,365][1,170][1,10][1,16]

maxC(α)

0.70

0.90

0.95

0.90

0.85

0.90

0.95

0.90

0.95

0.90

arg max C(α)

6

14

113

13

15

8

53

4

9

11

α

表 3 ダーツのスロー動作のリリースポイントの推定結果と閾値 α

Subject I

Subject J

Subject K

Method1(Feature)2(DTW)

1(Feature)2(DTW)

1(Feature)

Nmin Ts [ms]

0

0

0

0

0

0

Nmax Ts [ms]

12

11

17

17

97

83

Range of α[1,11][1,10][1,16][1,16][1,96][1,82]

max C(α)

0.97

0.97

0.97

0.97

0.97

0.90

arg max C(α)

10

12

10

12

86

55

2(DTW)

α4.3 ダーツへの適用

0.1

4.3.1 評価環境

0.08
0.06

ダーツのスローにおける矢のリリースポイントの推定誤

0.04
0.02
Estimation error [ms]

105
106

差を計測した．推定誤差はシステムが推定したリリースポ

-107
-106
-105

0

-17
-16
-15
-14
-13
-12
-11
-10
-9
-8
-7
-6
-5
-4
-3
-2
-1
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

Relative frequency

0.12

図 7 バスケットボールのフリースロー動作のリリースポイントの推定誤差についてのヒストグラム

イントの時刻と真のリリースポイントと時刻の差とする．

3 名の被験者 I，J，K（男性，右利き）の利き手手首に無線加速度センサ [10] を装着し，一人 30 回，合計 90 回ス
ロー動作を採取した．加速度センサのサンプリング周波数
は 1000[Hz] とした．

定誤差はサンプリング間隔である ±1[ms] 以内となる割合
は 21.0%となった．

実験中は 960fps で撮影可能なハイスピードカメラを用いてダーツを投げる様子を撮影した．ダーツを投げる動作

また，手法 1 および手法 2 がともに「NG」の確信フラの採取後，映像をもとに真のリリースポイントの時刻情報

グを出力した結果は 100 回のうち 19 回であった．その 19を加速度データに付与し，正解データを作成した．提案手

回はすべて被験者 D で発生しており，被験者 D は手法 1法を用いて被験者ごとに leave-one-out 交差検証でリリーでの推定精度が他の被験者と比べて特に低かったため，確スポイントの推定を行った．

信フラグの閾値 α を 53[ms] としても，手法 1 での確信フ

4.3.2 結果

ラグがすべて「NG」と識別され，被験者 D から取得した

4.1 節と同様に，確信フラグの正解率が最大となる時のデータ 20 回中 19 回が推定結果が不明となった．さらに，

α の値を調べた．結果を表 3 に示す．また，図 8 にリリー

表 2 に示すように，被験者 E，G の推定誤差の最大値は被スポイントの推定誤差のヒストグラムを示す．横軸は推定

験者 D，F，H と比較して手法 1，2 ともに大きい．これ誤差を表し，縦軸は相対度数を表す．また，最終的に 2 つは，被験者 E，G は 3 年以上のバスケットボール経験者での手法で確信フラグが NG になった場合の判定である推定あり，未経験者はフリースロー動作時の動きが一定であっ結果が不明となったものを除いている．結果から，最大誤たが，経験者は試行ごとに手首の動作が大きく異なってい差は −55[ms] となり，推定されたリリースポイントの推定たためだと考えられる．

誤差はサンプリングの間隔である ±1[ms] 以内となる割合© 2019 Information Processing Society of Japan17

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19002
2019/3/6

推定誤差についてのヒストグラムはマイナス側に偏ってい0.1たと考えられる．

0.08
0.06

また，野球よりもダーツの推定精度が低い理由として，

0.04

ダーツの矢をつまんだ状態から離す際におこる動作が，野

-55
-54

0

Estimation error [ms]

31
32

0.02
-15
-14
-13
-12
-11
-10
-9
-8
-7
-6
-5
-4
-3
-2
-1
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

Relative frequency

0.12

図 8 ダーツのスロー動作のリリースポイントの推定誤差についてのヒストグラム球のボールを投げる際よりも，被験者間で安定していなかったためだと考えられる．しかし，ダーツはバスケット
ボールよりも小さい分，手から矢が離れ始めてから離れきるのにかかる時間は短いため，フリースロー動作よりも推は 20.0%となった．

定精度が優れていたと考えられる．

また，手法 1 および手法 2 がともに「NG」の確信フラ

最後に，提案手法のリミテーションについて述べる．閾

グを出力した結果は存在しなかった．これは，特徴量によ

値 α に関して，評価実験では α はジェスチャごと，かつ各

り時刻推定をした際の特徴量と確信フラグの分布と，波形

被験者ごとに学習データから決定し，それらの値はジェス

マッチングにより時刻推定をする手法 2 による時刻推定をチャとユーザごとに異なる結果となったため，α の再利用

した際の DTW 距離と確信フラグの分布が一致していない

可能性は低いといえる．ユーザ本人から動作発生時刻が付ため，一方の確信フラグが「NG」となったとしても，もう与された学習データを収集できない場合，複数のユーザか

一方が「OK」となったためだと考えられる．

ら動作発生時刻が付与された学習データをジェスチャごとに事前に採取しておき，推定誤差は大きくなるがユーザに

4.4 考察汎用な α の値を用いることが考えられる．提案手法で検出

本節では，提案手法の有効性を確認するため，手首の動可能な動作の種類に関して，本研究では野球，バスケット作に着目し，手首の動作が重要と考えられる野球の投球，バボール，ダーツのいずれにおいてもリリースポイントとい

スケットボールのフリースロー，およびダーツのスローのう，特徴的な瞬間を対象とした．提案手法は設計上，ジェ3 種類のジェスチャについて，手首にモーションセンサをスチャ中に発生するユニークな動作の瞬間であればその時装着し，センサから得られたデータに対して提案手法を用

刻を推定可能である．しかしながら，どの程度ユニークでいることで，それぞれのリリースポイントの推定を行った．

あれば提案手法を適用可能であるかは確認できていない．

野球の場合，手法 1 および手法 2 の両方で確信フラグが

例えば，ボールを投げる前の溜めの動作のような，静止が「NG」となった場合を除き，リリースポイントの推定誤差

一定時間続く区間における 1 点の時刻を推定することは現が ±12ms の範囲ですべて収まり，3 種類のジェスチャの中状の提案手法では理論上困難であり，推定誤差が大きくなで推定精度がもっとも高くなった．バスケットボールの場ると考えている．提案手法で推定可能な動作の種類の検証

合，リリースポイントの推定誤差を ±12ms まで許容するは今後の課題である．

と，推定精度は 87.6%となり，ダーツの場合，リリースポイントの推定誤差を同様に ±12ms まで許容すると，推定精度は 91.1%となった．

5. おわりに本研究では，ジェスチャ中の特定の動作が発生した瞬間

バスケットボールの推定精度がもっとも低い理由としの時刻を推定する手法を提案した．ユーザの手首にモーて，被験者内で，特に経験者においてリリース時の手首のションセンサを装着し，動作中の加速度，角速度データを動作が大きく異なっていたことが挙げられる．また，バス

計測することで，特定動作発生時刻を推定する．野球の投ケットボールと野球ボールの大きさも影響していると考球，バスケットボールのフリースロー，およびダーツのスえられる．具体的には，バスケットボールは野球ボールよ

ローの計 3 種類の動作について，提案手法を用いてそれぞりも大きいぶん，野球の投球と比べてボールが指から離れれのリリースポイントを推定した結果，センサのサンプリ

るまでに時間がかかるが，センサを手首に装着しているた

ングの間隔以下の推定誤差を許容範囲とすると，推定精度

め，指からボールが離れている際にセンサデータはほとん

は野球では 61.9%，バスケットボールでは 21.0%，ダーツ

ど変化しておらず，リリースポイントを推定する際に，学では 20.0%が許容範囲となった．また，リリースポイント

習データにおいてリリースポイントにおけるセンサデータの推定誤差が ±12[ms] 以下の割合は，野球で 61.9%，バスと類似した部分が野球の場合よりも多くなり，リリースポケットで 87.6%，ダーツで 91.1%となった．

イントが正しく推定されなかったと考えられる．さらに，今後の課題として，今回は手首の動作に注目して，ジェ提案手法がリリースポイントの時刻を推定する際に，ボースチャ中の特定動作の抽出を行い，推定精度を評価したが，ルから指が完全に離れるフレームの直前のフレームではな

足首や腰などほかの部位でも試してみる予定である．さらく，ボールから指が離れ始めているフレームを推定するこに，ジェスチャ中の複数の特定動作を検出する手法を提案とが多く，フリースロー動作におけるリリースポイントのすることで，ジェスチャ認識の幅が広がると考えられる．

© 2019 Information Processing Society of Japan18

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19002
2019/3/6

参考文献
[1]
[2]

[3]
[4]

[5]

[6]

[7]

[8]

[9]

[10]
[11]

Moﬀ, Inc., http://www.moff.mobi/.
C. Myers and L. Rabiner: A Comparative Study of Several Dynamic Time Warping Algorithms for Connected
Word Recognition, The Bell System Technical Journal,
Vol. 60, pp. 1389–1409 (Sep. 1981).
Wii Sports, https://www.nintendo.co.jp/wii/rspj/.
H. Yamada, K. Murao, T. Terada, and M. Tsukamoto:
A Method for Determining the Moment of Touching a
Card using Wrist-worn Sensor in Competitive Karuta,
Journal of Information Processing, Vol. 26, No. 1, pp.
38–47 (Jan. 2018).
H. Kanke, Y. Takegawa, T. Terada, and M. Tsukamoto:
Airstic Drum: A Drumstick for Integration of Real and
Virtual Drums, Proc. of 9TH International Conference
on Advances in Computer Entertainment Technology(ACE 2012), pp. 57–69 (2012).
K. Murao and T. Terada: A Motion Recognition Method
by Constancy-Decision, in Proc. of IEEE International
Symposium on Wearable Computers (ISWC 2010), pp.
69–72 (Oct. 2010).
村田 賢, 河村竜幸, 河野恭之, 木戸出正継: 体験セグメン
テーションを目的とした身体装着マルチセンサ時系列情報の分析, 人工知能学会全国大会論文集, Vol. 18, pp. 1–4(June 2004).
M. Yoshizawa, W. Takasaki, R. Ohmura: Parameter exploration for response time reduction in accelerometerbased activity recognition, Proc. of International Workshop on Human Activity Sensing Corpus and Its Application (HASCA2013), UbiComp (Adjunct Publication),pp. 653–664 (Sep. 2013).
F. Farzin, S. M. Rivera, and D. Whitney: Time Crawls:
The Temporal Resolution of Infants’ Visual Attention,
Psychological Science, Vol. 22, pp. 1004–1010 (Aug.
2011).
CRESCO Wireless, Inc.(formerly, Wireless Technologies,Inc.), http://wireless-t.jp/.
Weka 3 - Data Mining with Open Source Machine Learning Software in Java, http://www.cs.waikato.ac.nz/
ml/weka/.

© 2019 Information Processing Society of Japan

19