水耕栽培マネージングシステムにおけるKinect を用いたロボットアームの遠隔操作と触覚センシングデバイスを用いた作物把持の手法
A Method for Intuitive Arm Operation for Robotic Arms using Kinect andGrasping of Crops using Tactile Sensing via a Robotin The Hydroponic Management System
江川 秀明 1 池城 和夫 1 今村 弘樹 1
Hideaki Egawa1, Kazuo Ikeshiro1, Hiroki Imamura111

創価大学工学研究科情報システム工学専攻
Department of Information Systems Science, Graduate School of Engineering, Soka University
Abstract: Recently, studies regarding automatic hydroponic system for stable cultivation have been
attracted because of decreasing of the amount of crops by decrease of farmers and evolution of naturaldisaster. However, it is difficult for that system to grow high-quality crops because machine works
regularly. Therefore, we have proposed “Hydroponic Management System (HMS)” by using a robot
operated by remote control. In this study, we propose a system to realize intuitive arm operation for
robotic arms using Kinect and grasping of crops using tactile sensing device that can check detailconditions of crops.

▪1 はじめに
日本では近年，農業従事者減少や自然災害が要因となり作物栽培量が減少している．そのため，安定した栽培を目的とした屋内での水耕栽培の自動化に関する研究が注目されている．既存の水耕栽培の自動化手法は，農場を機械で自動管理することで，短期間で効率的に作物を栽培することが可能である．
しかし，機械の一定の動きでは，作物の品質を担保することは難しい．
この問題に対し，本研究室では，遠隔操作可能なロボットを用いた水耕栽培マネージングシステムを提案してきた[1]-[4]．本システムは，以下の 2 つのモード(図 1，2)によって構成される．

図 1. 自動管理モード

図 2. 遠隔管理モード
自動管理モード
自動管理モードでは，農場内をロボットが自動で循環し，作物の育成状況や熟度などの状態を監視する．
遠隔管理モード
遠隔管理モードでは，農業従事者が遠隔地から農場内のロボットを操作し，詳細な作物の状態を管理する．
このように，本システムではまず，ロボットによる自動管理モードによって，農業従事者に掛かる負担を軽減し，効率的な水耕栽培を実現する．次に，遠隔管理モードによって，農業従事者の知識・経験に基づいた細やかな管理を可能にすることで，作物の品質を考慮した水耕栽培を実現する．

本研究では，遠隔管理モードにおいて，農業従事者(以下，ユーザ)が対象作物の細やかな状態を確認するために，ロボットアームを操作し，対象作物を把持することを想定し，ユーザによる直感的なロボットアーム操作・対象作物の把持を実現する手法を提案する．

▪2 提案手法
2.1 直感的なロボットアーム操作
本研究では，Kinect センサによって取得したユー
ザ腕部の各関節の 3 次元位置情報から関節角度を算出し，それらをロボットアームの関節角度に反映させることで，ユーザによる直感的なロボットアーム操作を実現する(図 3)．本研究では，ロボットとしてPepper を想定している．Pepper のアームには，肩に対する Roll 角・Pitch 角と肘に対する Roll 角・Yaw角がある．そこで，ユーザの肩における Roll 角・Pitch角と肘における Roll 角・Yaw 角の算出方法について説明する．なお，図 4, 7 上で示す座標系は，ユーザの肩を基準にした座標系(以下，ユーザ座標系)であり，Pepper の肩に対しても同様に対応する座標軸である．

図 3. 直感的なロボットアーム操作①腕の関節情報取得
まず， Kinect センサを用いて，ユーザの肩・肘・手首の関節の 3 次元座標を取得し，肩から肘までのベクトルを𝒂，肘から手首までのベクトルを𝒃とする(図 4)．
図 4. 関節情報取得時のベクトル設定②肩における Roll・Pitch 角の算出(a)Roll 角
Roll 角は，𝒂 における Roll 方向の動きの角度に相当する．したがって図 5 のように，肩から真下方向への基準ベクトル𝒇1 を定義すると，Roll 角𝜃𝑅 は，𝒇1 と𝒂をユーザ座標系の X-Y 平面上に写像したベクトル
𝒂1 を用いて，次式(1)で算出される．
𝒂 ∙𝒇θR = cos-1 |𝒂 1||𝒇1 |𝟏𝟏(1)(b)Pitch 角
Pitch 角は，Roll 角と同様に，𝒂 における Pitch 方向の角度に相当する．したがって図 6 のように，Pitch角𝜃𝑃 は，𝒇1 と𝒂をユーザ座標系の Z-Y 平面上に写像したベクトル𝒂2 を用いて，次式(2)で算出される．
𝒂 ∙𝒇θP = cos-1 |𝒂 2||𝒇1 |𝟐③肘における Roll・Yaw 角の算出

𝟏(2)

図 5. 肩の Roll 角の算出

(a)Roll 角
肘の Roll 角は，肘の曲げ伸ばしに関わる角度に相当する．したがって図 7 のように，Roll 角𝜑𝑅 は，ベクトル𝒃と肘から肩へのベクトル𝒄を用いて，次式(3)で算出される．
b∙c

φR = cos-1 |b||c|

図 6. 肩の Pitch 角の算出

(3)(b)Yaw 角
肘の Yaw 角は，ユーザ座標系における Yaw 方向の角度に相当する．図 8 に示すように，𝒂に垂直な平面上に，𝒃とユーザ座標系の Z 軸に平行な基準ベクトル𝒇2 を写像することによって，それらのベクトルのなす角が Yaw 角𝜑𝑌 となる．したがって𝜑𝑌 は，写像後の𝒃1 と𝒇2 を用いて，次式(4)で算出される．
𝒃 ∙𝒇

φY = cos-1 |𝒃 1||𝒇2 |𝟏

図 7. 肘の Roll 角の算出

𝟐(4)2.2 直感的な対象作物の把持
直感的なロボットアーム操作に加え，圧力センサデバイスによって Pepper 側での把持状況を認知し，それをユーザが装着するハプティクスデバイス [5]を用いて力覚呈示させることで，直感的な対象作物の把持を実現する(図 9)．そこで，これらのデバイスを用いた把持認識手法について説明する．
①圧力センサデバイスによる触覚検知
図 9 に示すような圧力センサを搭載した専用デバイスをロボットの指に装着し，圧力値の変化を触覚として検知する．圧力値は 0~20N の範囲を持ち，ロボットの指で作物をどの程度の力で触れているのかが数値化され，ユーザ側に送信される．

図 8. 肘の Yaw 角の算
出②圧力値を用いた力覚呈示による把持認識
圧力センサデバイスによって得られた圧力値に基づき，ユーザが指に装着したハプティクスデバイス[5]で把持認識を行う．ハプティクスデバイスには，20mm の伸縮幅を持つ 4 つのバネが取り付けられており，圧力値 1N に対して 1mm 伸縮する．また伸縮は，モータの任意角度の回転に依存する(図 10)．回
転角度𝜃𝑚 は，伸縮したバネの長さ L とモータの半径r を用いて，次式(5)で算出される．
𝜃𝑚 =

180𝐿
𝜋𝑟(5)

以上のように，算出された角度を用いて，ハプティクスデバイスを制御し，力覚呈示を行い，把持認識を行っていく．
図 9. 直感的な対象作物の把持表 1. アンケート評価実験結果▪4 今後の展望図 10. ハプティクスデバイスによる力覚呈示▪3 評価実験と考察
3.1 評価実験
提案手法の有用性を評価するために，ロボットアームの直感的操作と対象作物の把持認識に関するアンケート評価実験を行った．評価項目は，5 項目・5段階，被験者は 8 人である．評価項目は以下の通りである．
①ロボットアームの動きは自分の腕の動きに対応していたか②反応速度は適切だったか③意図した通りにロボットアームを動かせたか④全体通して直感的に操作できたか⑤物体に触れている感覚はあったか
実験結果を表 1 に示す．まず，直感的なアーム操作として，項目①②では高い平均値となっており，多くの被験者から概ね 4.00 以上の評価が得られた．
加えて，③では 3.53~4.73 で概ね評価が推移した．④
では評価が 4.32 以上となり，高い評価が得られた．
一方，直感的な対象物体の把持において，⑤で3.09~4.41 で評価が概ね推移し，被験者によって大きく異なる結果となった．

評価実験を通して，今後は特に，圧力センサデバイスの改良に取り組み，より正確な作物把持認識の実現に注力していく．それに当たっては，デバイスのセンサ部分の構造を，より人間の指に近い形にすることで，より詳細な把持認識の実現が可能になると考えられる．また一方で，圧力センサ自体に関しても，より感度の高いセンサを採用し，微小な圧力値変化にも対応可能なデバイスを構築していく．

参考文献
[1]

しいシステムの構築”, 映像情報メディア学会技術報告書, Vol. 35, No. 47, pp. 21-24, (2011)[2]

Fumiya Iwasaki, Hiroki Imamura, “A robust Recognition
Method for Occlusion of Mini Tomatoes based on Hue
Information and Shape of Edge”, The International
Conference CGMIP, pp.15-20, (2014)[3]

井手伸一郎, 今村弘樹, “遠隔地における水耕栽培マネージングシステムのための移動ロボットの経路探索手法”, 第 57 回自動制御連合講演会, 1D06-3, pp.
516-521, (2014)[4]

塩路晃史, 今村弘樹, “遠隔地おける水耕栽培マネー
ジングシステムのためのインターフェース構築”,

3.2 考察各項目の評価について，考察する．①から④においては，平均値が全体的に高いことから，直感的なロボットアーム操作が可能であると感じていると推察される．しかし③において，数名は意図した通りに動かすことに難しさを感じていたため，更なる改善の余地があるとも考えられる．一方⑤においては，物体に触れている感覚が得にくいことが分かり，使用している圧力センサの精度やハプティクスデバイスでの把持認識に対する制御方法についても再度検討する必要があると考察される．

児玉峻, 今村弘樹, “AR に基づく水耕栽培に関する新MVE2014-32-MVE2014-48, pp. 83-87, (2014)[5]

Makoto Yoda, Hiroki Imamura, “Development of A
Finger Mounted Type Haptic Device Using A Plane
Approximated to Tangent Plane”, ACHI2016, pp.
436-441, (2016)