立石科学技術振興財団

助成研究成果集(第32号) 2023

［ 研究助成 (C) ]食事支援ロボットアームに関する研究
A study on a self-feeding assistive robotic arm
2217004

研究代表者

琉球大学

大学院理工学研究科共同研究者

琉球大学

工学部

博士後期課程

具志翔太朗

教

比嘉広工学科授樹

難になるため，逆運動学を用いた制御について[研 究 の 目 的]検討した。次に，ロボットアームを操作するイ社会には生まれつき体が不自由な人や，老化ンタフェースについて検討した。本研究で使用や事故，病気などによって体に障がいを有するするような関節が多いロボットアームの制御は，人々がいる。これらの身体障がい者の中には，入力信号が多くなるため複雑化してしまう。特運動機能が徐々に低下することで体全体またはに本研究で対象とする上肢障がい者は自由に手その一部が麻痺する筋ジストロフィーと呼ばれ先を動かすことが難しいため，簡単な入力操作る疾患患者も含まれている。身体障がい者の中で直感的にロボットアームが操作できるようにには日常生活において常に他者の支援や介護がしなければならない。そこで本研究では，ロ必要となる要介護者となる人もおり，今日の日ボットアームのコントローラを従来のボタンや本では人材不足による介護者の負担増大や被介スティックを用いたものから，ユーザの生体情護者の尊厳などが社会問題となっている。特に報を活用したコントローラ (脳波，手指運動，日常生活において必要不可欠な食事に注目する眼球運動) へ変更することを検討した。と，介護者の都合や技術等により被介護者は自[研究の内容，成果]分のペースで食事ができなかったり，食べたい量の食物を口へ運ぶことができなかったりする

1．ロボットアームの制御に関する検討など満足に食事ができない場合がある。
そこで本研究では，筋ジストロフィー患者な〈目的〉どの上肢障がい者でも容易に操作できる食事支本研究では，人間の腕のように自然な食事動援ロボットアームについて検討した。具体的に作を行うことを目標とし，7 自由度のロボットは，まず 7 自由度の関節を有するロボットアーアームを用いている。関節が多くなると制御がムの制御を検討した。本研究の対象者である筋困難になるため，初めに逆運動学を用いた制御

ジストロフィー患者は呼吸器を装着しているたについて検討した。

め，普段の食事ではスープやゼリーなど液体状〈システム構成〉で，すくいあげにくい食べ物を食す。したがっ本研究で使用したロボットアームの機構図をて，本研究では 7 自由度のロボットアームを用

図 1 に示す。本研究では人間の腕のように自然いて，人間の腕のように自然な食事動作を行うな食事動作を行うことを目標として，人間の腕ことを目標とした。関節が多くなると制御が困と同じ 7 自由度の関節を有するロボットアーム― 1 ―立石科学技術振興財団

図1

ロボットアームの機構図

図3

ROS に構築したロボットアームモデル

図4
図2

ROS を用いた制御システム

実機のロボットアーム

ル) の座標を MoveIt へ入力することで，逆運を製作して使用した。ロボットアームの制御に動学を用いたモーションプランニングを行った。

ついて検討するにあたり，まずロボットアーム次に，プランニングによって得られたロボットの改良を行った。パワー不足で動作が不安定アームの各関節の目標角度 (変位) を実機のロだった関節のモータを変更し，安定した食事動ボットアームへ入力し，実機を動作させる。実作が行えるように改良した。改良した実機のロ機の動作結果は，3D 可視化ツール Rviz と逆ボットアームを図 2 に示す。本ロボットアーム

運動学を用いた計算を行う MoveIt へフィード

は，3D CAD を用いて設計し，3D プリンタをバックされ，次のプランニングに使用される。

用いて出力した。

〈実験および結果〉

続いてロボットアームの制御について検討し

図 4 の制御システムを構築した状態で，ROSた。本研究では，ロボット用ソフトウェアプ内のロボットアームモデルへ任意の目標座標ラットフォームである ROS (Robot Operating(目標姿勢) を入力し，MoveIt のモーションプ

System) を用いて，実機のロボットアームをランニングにより実機が正しく動作するか確認制御することを検討した。具体的には，まず図した。

3 に示すように，ROS 内に本研究で使用する 7

本実験の動作結果を図 5 に示す。図 5(a) よ自由度ロボットアームを構成した。次にロボッり，実 機 の 動 作 前 (目 標 姿 勢 の 設 定) で はトのプランニングフレームワークである

ROS 内に表現された実機の姿勢と目標姿勢がMoveIt を用いて，ロボットアームの目標座標異なっているが，図 5(b) の実機動作後ではそまでのモーションプランニングを行った。図 4

れぞれの姿勢が重なっており，実機が目標姿勢に ROS を用いた制御システムを示す。本研究へ到達できたことを確認した。

では，まず把持対象物 (本研究ではペットボト― 2 ―Tateisi Science and Technology Foundation

図6

図5

実験結果

図7

本研究で検討したインタフェース

手指運動，眼球運動を用いたインタフェースの GUIを用いて識別器を作成した。指先領域の学習・〈考察〉本実験より，MoveIt のモーションプランニ検出には，HOG (Histograms of Oriented Gra-ングによって実機のロボットアームを動作させdients) 特 徴 量 と SVM (Support Vector Ma-ることが可能であることが示された。本実験でchine) を使用した。識別機の学習画像には，はマウスを使用して ROS に目標姿勢を入力しWeb カメラと手指との距離を約 8.0[cm] にたが，本研究の対象者は筋ジストロフィー患者保った状態で人差し指を外転 30°から内転 20°など上肢障がい者であるため，ロボットアームの範囲内で運動させた際の画像を 60 枚使用しを制御するためのインタフェースに関する検討た。手指運動をロボットアームのインタフェーが必要である。インタフェースについては次節スとして活用するために，図 7 に示すようなで検討した。

GUI (Graphic User Interface) を作成した。各領域に指先が入ることで制御信号が送信される。
今回は，1 番と 3 番の領域を使用した。

2．インタフェースに関する検討〈目的〉

本研究では，対象者である上肢障がい者がロ・眼球運動を用いたインタフェースボットアームを容易に操作できるように，ユー

本システムは PC および Web カメラで構成ザの障がいの程度に合わせたインタフェースをされる。なお，Web カメラは 3D プリンタで提供することを目標とした。本研究では，手指出力されたフレームに設置し，ユーザの頭に装運動，眼球運動および脳波を使用したインタ着して使用する。眼球運動の検出には，Mediaフェースについて検討した (図 6 参照)。

Pipe の Face Mesh を使用した[1]。なお，本〈手法〉

インタフェースも図 7 に示す GUI を使用して，・手指運動を用いたインタフェースロボットアームを制御する。

本システムは PC および Web カメラで構成される。本システムでは予め取得した指先画像― 3 ―立石科学技術振興財団

・脳波を用いたインタフェース
本研究は，研究室の修士 2 年次の研究成果を応用した[2]。1ch のアクティブ電極 (C3) と接地電極 (GND 電極)，基準電極 (REF 電極)を用いて，右手掌握運動想起/安静 (握る/開く動作の想起) の二つの課題の判別を検討した。
脳波取得後，CNN (Convolutional Neural Network) モデルを応用した VGG-16 モデルを用いてモデルを作成した。
〈実験および結果〉

図 3 に示すように ROS 内のロボットアームモデル近くにペットボトルモデルを配置し，前節の ROS を用いた制御システムを使用してペットボトルの把持動作および移動実験を行った。各インタフェースからの制御信号 (2 入力) に対して，把持したペットボトルをテーブ

図8

手指運動を用いたインタフェースの実験結果

図9

眼球運動を用いたインタフェースの実験結果

ル上から口元付近まで移動させる，またはペットボトルをテーブル上へ戻す動作を割り当てた。
手指運動および眼球運動では，図 7 の GUI の1 番領域にボトルをテーブル上へ戻す動作を，3 番領域にはペットボトルを口元へ移動させる動作を割り当てた。また，脳波を用いた実験では，掌握運動 (握る動作) の想起時にペットボトルを口元へ移動させる動作を，安静時 (開く動作) にボトルをテーブル上へ戻す動作を割り当てた。それぞれの実験には健常被験者 1 名(手指運動，眼球運動：被験者 A，脳波：被験者 B) が参加し，各インタフェースを用いてロボットアームシステムを操作してもらった。なお，本実験では実機のロボットアームではなく，ROS 内のロボットアームモデルを使用して実験した。
実験結果を図 8 に示す。図 8 は手指運動を用いたインタフェースによる実験結果であるが，手指運動によって 3 番の領域 (ペットボトルを(ペットボトルをテーブル上に戻す動作) を選口元へ移動させる動作) を選択すると，3 秒後択すると，4 秒後にはテーブル上へペットボトには ROS 内のロボットアームモデルがユーザルを戻すことができた。また，図 10 は脳波をの口元へペットボトルを移動させることができ用いたインタフェースの実験結果であるが，掌た。図 9 は眼球運動を用いたインタフェースの握運動 (握る動作) を想起して 10 秒後には，実験結果であるが，眼球運動によって 1 番領域ロボットアームモデルがユーザの口元へペット― 4 ―Tateisi Science and Technology Foundation

きた。また，脳波を用いたインタフェースにおいても運動想起によって本ロボットアームシステムが動作することを確認できたが，誤検出も多かったため，今後は脳波の判別結果の精度向上について検討する必要がある。
[今後の研究の方向，課題]
今後の課題として，実際の食物を使った実験や脳波の判別結果の向上が挙げられる。また，健常被験者を増やして評価実験を行い，十分な安全性，操作性が確認できた後，上肢障がい者による評価実験を実施する。
[成果の発表，論文など]
図 10

脳波を用いたインタフェースの実験結果

具志翔太朗，山城凜弥，比嘉広樹，“上肢障がい者を対象とした文字入力インタフェースの検討”，火の国
情報シンポジウム 2022，B22-2 (2022)

ボトルを移動させることができた。
〈考察〉[参考文献]

実験結果より，本実験で使用したすべてのインタフェースで本ロボットアームシステムを操作することができることを確認した。特に，手指運動と眼球運動を用いたインタフェースにおいては誤検出が非常に少なく，ユーザの意図した動作を好きなタイミングで実行することがで

― 5 ―

[1]

“MediaPipe”, https : //google.github.io/mediapime/，【閲覧日：2023 年 3 月】
[ 2 ] 具志椋之輔，“SMR 波帯を用いた BMI システム”，琉球大学大学院理工学研究科修士論文 (2023)