情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-410-64
2017/3/2

Kinect を用いた鍬動作の比較分析のための動作プリミティブ分割機構の試作
一ノ瀬修吾†1 白松俊†1 大森友子 †2
概要：農家民宿や市民農園では，農業の初心者が鍬を用いて畑を耕す際に身体の使い方がわからないケースが存在する．本研究では，鍬に熟練した農作業経験者の動作データを蓄積することで，農業初心者の鍬の使い方との違いを比較分析し，アドバイスするシステムの実現を目指す．そのために，農作業経験者の鍬動作をモーションキャプチャ (たとえば kinect) を使って記録・蓄積しておく．本稿では，蓄積された鍬動作のデータと，初心者の鍬動作とを比較可能にするために，空間的な回転を施して正規化する機構と，時間的に分割して動作プリミティブを抽出する機構を試作した．

Prototyping a Function to Segmenting Motion Data into Motion
Primitives for Comparison Analysis of Hoe Movement using Kinect
Shugo ICHINOSE†1 Shun SHIRAMATSU†1Tomoko OMORI†2Abstract: When non-experts of agriculture try to use hoe in allotment gardens or farm guest houses, they frequently cannot
grasp how to use hoes and their bodies. In this study, we aim to develop a system for advising non-experts users on how to use ahoe through collecting motion data of hoe of agriculture experts. The motion data is collected by a motion capture sensor, e.g.,
Kinect. In this paper, we implement a function to canonicalize three dimensional axes and a function to segment hoe movement
data into motion primitives in order to compare non-experts’ motions and experts’ motions.

1. はじめに
本研究は，農家民宿の経営者のアイデアを基にしており，

2. 動作の分析手法

農作業の身体の使い方を分析してアドバイスする技術の開本研究では，Kinect を用いて鍬動作を認識する．そのた発を目的としている．農業体験のため農家民宿を訪れる都

めには，まず鍬動作における各関節の 3 次元座標を取得す

心からの学生の中には，鍬の使い方や身体の使い方がわかる．各関節の 3 次元座標は Kinect のカメラを原点にした座らないケースが多い[1]．家庭菜園で畑仕事を始めようとい標であり，カメラの角度，位置によって値が変化してしまう農業未経験者にも，同様のケースが多いと考えられる．

う．初心者と熟練者の動作を比較するためには，常にカメ

そのような身体の使い方や農作業を指導するために，本研

ラからの計測者の位置，角度を同じにしておかなければな

究では名人の身体動作を分析し，初心者の身体動作と比較らない．
そこで，腰の角度を基に座標を正規化することで，するというアプローチをとる．そのために，鍬の名人の動計測者がどの位置，角度にいても座標を比較できるように作と初心者の動作のデータを蓄積する．また，蓄積したデする．

ータを比較できる技術を開発する．

正規化した座標から速さを求め，速さの時系列データを具体的には，モーションキャプチャ (たとえば Kinect) を作成する．速さの時系列データの極小値を求め，極小値に使って農作業熟練者の鍬の動作を記録しておき，初心者が対する閾値を基に鍬動作をいくつかの動作プリミティブに鍬を動かすときに具体的にどこが違うかを指摘しやすくす分解し，蓄積する．佐藤ら[2]によれば，動作プリミティブる．熟練者と初心者の体の使い方には違いがあるはずであとは，短い単位時間の動作要素のことを示す．熟練者の動り，それを比較して検出できるような分析手法の開発を目作と初心者の動作を比較するためには，動作プリミティブ指す．疲れにくいまたは力が入りやすいという意味で効率毎の比較が必要となる．本研究では白鳥ら[3]を基に座標のの良い使い方を分析する技術を開発することにより，初心正規化と動作プリミティブの抽出を行った．

者でも無理のない体の使い方ができるようにシステムがアドバイスする機能を目指す．

2.1 座標の正規化
各関節の座標から，腰の中心座標である HIP_CENTER†1 名古屋工業大学
Nagoya Institute of Technology†2 Agriturismo 大森家
Agriturismo Omori-ke© 2017 Information Processing Society of Japanの座標で減算を行い，座標の原点をカメラの位置から腰の位置に変更する．
白鳥ら[3]を参考に，腰の動きを基にした「体中心座標系」

881

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-410-64
2017/3/2を設定し，腰を原点とし，体中心座標系による区間を動作プリミティブとする．

座標を正規化された関節座標とする先行研究ではモーションセンサとして Vicon を用いているため，使用している座標系が Kinect のものと異なる．たとえば Vicon は水平方向を X 軸，垂直方向を Z 軸，鉛直方向を Y 軸としているのに対し，Kinect の水平方向を X 軸，垂直方向を Z 軸，鉛直方向を Y 軸としている．

，をそれぞれ観測者から見て左側，右側の腰の座標へのカメラを原点とし

3. 分析例
Kinect の前で(1)「振り上げ」「振り下ろし」「引き」の動作を 4 周行った際のカラー画像を図 1 に，頭，腰，右手の速さの時系列データのグラフを図 2，図 3，図 4 に示す．
カラー画像の時刻の速さはグラフの赤線で示している．

た XZ 平面上の 2 次元ベクトルとしたとき，腰の右側を起これらの時系列データのうち，右手のデータを 2.2 に示

点 と し 左 側 が 終 点 と な る ベ ク ト ル をす方法で実際に動作プリミティブに分割した時のグラフをとする．この は，体図 5 に示す．
また，鍬を持っている状態において，持っている鍬を手の傾きを表わすために用いる．このとき Kinect の場合の正として誤認識してしまう場面があった．図 6 に誤認識時の規化の式は以下のように示される．

関節座標をプロットしたものを示す．

なお，は と直交するベクトルである．

2.2 動作プリミティブの抽出正規化した座標から，鍬動作における各関節の速さの時系列データを求める．熟練者の動作と初心者の動作を比較するためには，時系列データを動作プリミティブに分割する必要がある．鍬動作の分割の仕方は大きく分けて 2 通り存在する．
(1)「振り上げ」「振り下ろし」「引き」の 3 プリミティブに分割できる場合．これは鍬の振り上げの後，最高地点で一瞬静止する場合である．
(2)「引き」「空中動作」の 2 プリミティブに分割できる場

図 1: Kinect からのカラー画像
Figure 1: Color image from Kinect合．これは鍬の振り上げと振り下ろしを静止せずに曲線的に行う場合である．
(1)は「振り上げ」から先に行うのに対し，(2)は「引き」から先に行っている．
これらの動作を Kinect の前で行った．
各プリミティブの合間には速度が 0 または極端に落ちる部分があり，この特徴から鍬動作を動作プリミティブに分ける．まず速さの時系列データのうち，鍬動作を行っている部分だけ切り出す．この作業は Kinect から取得したカラー画像を基に手作業で行う．
切り取ったグラフの数値には，認識時のブレによってノイズが生じる．ノイズのあるデー
タでは多くの極小値が存在するためノイズを除去し，極小値を減らすためにデータのスムージングを行う．スムージ
ング前のデータをとおき，スムージング後のデータを以下の式で表す．

図 2: 頭の速さの時系列データ
Figure 2: Time series data of head speed

データにスムージングを行ったら速さの極小値を求める．
いくつかある極小値のうち一定の閾値以下であるものを取り出し，その点によって分解された速さの時系列データの© 2017 Information Processing Society of Japan882

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-410-64
2017/3/2

トウォッチの加速度センサーを用いた試行と Wii リモコンを用いた試行について述べる．

図 3: 腰の速さの時系列データ
Figure 3: Time series data of waist speed

図 6: 誤認識の例
Figure 6: Example of false recognition
4.1 スマートウォッチを用いた分析
2016 年 10 月 29 日から 10 月 30 日にかけて名古屋で行われた，さまざまな API を用いて行う開発コンテストである「MashupAwards2016」の予選ハッカソン[4]において，鍬に
図 4: 右手の速さの時系列データ

加速度センサーをとりつけた分析を試みた．農作業の初心

Figure 4: Time series data of right hand speed

者にアドバイスするサービスという意味で「農業師匠」というサービス名称とした．鍬にスマートウォッチの加速度センサー，スマートテニスセンサーを取り付け，振り下ろした際の加速度を計測した．図 7 にセンサーを取り付けた
鍬と，図 8 に鍬を振り下ろした際に計測した加速度を載せたモックアップ画面を示す．
また，図 8 は「農業師匠」による分析結果を想定したモックアップである．グラフの下にあるように達人との動作の比較によるアドバイスを自動的に追加するような機能を想定した．

図 5: 動作プリミティブに分割した時系列データ
Figure 5: Time series data divided into motion primitives

4. 加速度センサーを用いた分析
Kincet 以外にも鍬動作の分析に適したセンサーとして，加速度センサーを用いることができる．以下では，スマー© 2017 Information Processing Society of Japan883

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-410-64
2017/3/2

図 9: 測定した加速度の時系列データ
Figure 9: Time series data of the measured acceleration
図 9 より，加速度の時系列データにも周期性のある区間
図 7: センサーを取り付けた鍬がみられるため，Kinect と同時に Wii リモコンによって加Figure 7: Hoe with sensor attached

速度を計測することによって鍬動作の認識精度が向上することが期待できる．

5. おわりに本研究では鍬動作を Kinect で計測し，動作プリミティブに分けた．動作プリミティブは(1)「振り上げ」「振り下ろし」「引き」の 3 プリミティブまたは(2)「引き」「空中動作」の 2 プリミティブの 2 通りで測定した．今後は鍬の熟練者の動作を蓄積し，初心者の鍬動作と比較して問題点を指摘するシステムを作るなどの利用が考えられる．また，Kinectの誤認識については Wii リモコンなどのセンサー類をつけて相補的な分析を行うことで，より高精度な分析が行えると期待できる．なお今後の課題として，熟練者のデータの収集および，熟練者の動作との比較手法の開発が必要である．
謝辞

本研究の一部は，JSPS 科研費(25870321)の支援を受けた．また，MashupAwards 2016 の IoT ハッカソンで「農業師匠」の開発チームとしてご協力頂いた山田浩靖氏，岩田宙子氏，成瀬雅人氏，蔡超氏に深く感謝する．
図 8: 「農業師匠」のモックアップ画面
Figure 8: Mock-up screen of service
4.2 Wii リモコンを用いた分析
加速度を測ることができる Wii リモコンを鍬に取り付け，(1)「振り上げ」「振り下ろし」「引き」の動作を 4 周行った際の加速度の分析を試みた．図 9 に測定した加速度の時系列データのグラフを示す．

© 2017 Information Processing Society of Japan

参考文献[1]大森友子: スーパーアグリ「名人の技を科学する」～人工知能学会 市民共創知研究会に期待すること～．第 1 回市民共創知研究会, 遠野市, 2016.
[2]佐藤知正, 久保寺秀幸, 原田達也, & 森武俊: 日常生活支援のための机上作業のモデル化およびその認識と支援軌道の生成,
日本ロボット学会誌, Vol. 25, No. 1, pp. 81-91, 2007.
[3]白鳥貴亮, 中澤篤志, 池内克史: モーションキャプチャと音楽情報を用いた舞踊動作解析手法, 電子情報通信学会論文誌 D,Vol. J88-D2, No. 8, pp. 1662-1671, 2005.
[4]「【ハッカソン＠名古屋】IoT とセンサーと API のごった煮ハッカソン#MA_2016 by MashupAwards2016」,<https://mashupawards.doorkeeper.jp/events/52387>,(参照 2016/11/14)

884