〈一般研究課題〉 RGB-Dカメラを搭載した卓上ロボットを用いた服薬動作認識
助 成 研 究 者

愛知県立大学鈴木拓央

RGB-Dカメラを搭載した卓上ロボット
を用いた服薬動作認識鈴木 拓央（愛知県立大学）

Medicine-Taking Movement Recognition
Using Tabletop Mobile Robot with RGB-D Camera
Takuo Suzuki(Aichi Prefectural University)

Abstract：
In this research, the researcher developed a tabletop mobile robot for recognizing a medicationtaking movement. This robot consists of an RGB-D camera, a pan-tilt camera platform, and amobile platform. The camera should be placed in the proper position and in the proper orientation
to recognize the movement with high accuracy. The mobile platform can change the camera’sposition, and the camera platform can change the camera’s orientation. The experimental results
show the two platforms worked as the researcher expected.
1．はじめに
日本では少子高齢化が社会問題となっており、ロボット技術により医療従事者を支援することが期待されている。そのため、在宅高齢者の日常生活を見守り、薬の飲み忘れや飲み過ぎを予防するための技術が研究開発されてきた。
東京大学の稲葉らはRGBカメラ（色カメラ）を内蔵した卓上ロボットを開発し、住人が薬箱から薬を取り出し、口に運んだかどうかを判断する画像処理技術を開発した。しかし、人間の顔と手の色は近く、色情報のみでは服薬動作が行われたかどうかを高精度に判断することは難しかった。
そこで、助成研究者はRGB-Dカメラ（色-深度カメラ）を搭載した卓上ロボットを新たに開発し、服薬動作の認識精度を向上することを目指している。RGB-Dカメラは色情報（RGB：Red・Green・－ 197 －Blue）に加えて距離情報（D：Depth）を取得することができ、物体表面に位置する点の集まり「点群」を取得することができる。助成研究者の研究グループでは色情報と距離情報に基づいて顔と手を分離し、それらの位置や形状を認識することで、服薬動作が発生したかどうかを判断する技術を有している。しかし、安価で小型なパターン投影方式のRGB-Dカメラで取得する場合は高精度に計測可能な距離や角度が存在するため、本研究ではRGB-Dカメラを移動台車と電動雲台に載せ、カメラの位置・姿勢を変化させることで、上記の問題に対処することとした。
2．提案システム
助成研究者が提案している服薬管理支援システムの構成を図1に示す。RGB-Dカメラを搭載した小型の移動ロボットが卓上に設置されており、高齢者が食事を取ったり薬を服用したりしたかを確認する。また、薬の飲み忘れなどの異常を検知した際は、音声とジェスチャーを用いて本人に通知する。卓上ロボットが収集したデータはネットワークを介してサーバーに保存され、家族による遠隔見守りなどに利用される。iMec（intelligent Medicine case）は助成研究者らが開発したカメラを内蔵した薬箱で、薬が取得されたかどうかを確認することができる。また、iMecは冷蔵庫や水道、ベッドに配置したセンシングデバイスからデータを収集し、食事の状態や睡眠の状態を推定することができる。以上の機能を統合することで、食後などの適切なタイミングに薬が取得され、口の中に運ばれたことを確認することができる。

図１ 卓上ロボットを用いた服薬管理支援システム

本研究では卓上ロボットに搭載されたRGB-Dカメラで薬を口の中に入れる服薬動作を行ったかどうかを高精度に認識することを目指している。そのためには、カメラの位置・姿勢を変化させ、対象物体（人間の顔など）をカメラの中心で捉え、対象物体と任意の距離を保つ必要がある。助成研
究者は、食卓の上を移動するための移動機能、首を縦や横に振るための制御機能、人間の顔や手を認識するための計測機能などを有する卓上ロボットを開発する必要があると考えた。
RGB-Dカメラの位置・姿勢を制御するために、移動台車と電動雲台を組み合わせて制御プラットフォームを製作した。移動台車としてはRobotis社のTurtleBot3 Burgerを採用した。この移動台車はセンサーやアクチュエーターを追加しやすいという特長があり、後述の電動雲台を固定しやすいと判断した。電動雲台としては同じくRobotis社のOpenMANIPULATOR-Xを元にパン・チルト雲台を製作し、移動台車の上に固定した。本研究ではRGB-Dカメラとして人間の顔の認識に適し－ 198 －たIntel社のRealSense D435を選択した。そして、このカメラ用のアタッチメントを3Dプリンターで製作し、パン・チルト雲台の上に固定した。つまり、アタッチメントを製作することで、任意のRGB-Dカメラを固定することができるように設計した。制御プラットフォームとRGB-Dカメラを合わせたものが卓上ロボットとなる（図2）。今後は卓上ロボットの意匠性を向上するために3Dプリンターで外装を製作する予定である。

図2製作した卓上ロボット

3．予備実験
高精度に服薬動作を認識できる可能性が高い状況は、対象物体がカメラの光軸上にある状況である。そのため、対象物体の中心が画像（色画像および深度画像）の中心に来るよう、電動雲台の姿勢（角度）を制御すれば良い。
一方、最も精度良く服薬動作を認識できる可能性が高い対象物体とカメラの距離は、使用するカメラによって異なるため、予備実験を実施し、RealSense D435に適した距離を求めた。
予備実験の対象物体は人間の顔でなく直径が既知の緑色の球とし、球の直径は6.5 cmとした。この球を白色平面の上に置き、その真上にRealSense D435をマルチアングル三脚で固定した。
RGB-Dカメラの前面から球の頂点までの距離を20 cmから100 cmまで5 cm刻みで変化させながら、点群処理により球の直径を求めた。直径はそれぞれの距離で20回ずつ推定した。なお、15 cm以下は球がカメラの画角に入り切らず、直径を計算することができなかった。
結果を図3に示す。明らかな外れ値は発生しなかったため、20回の平均値を算出した。球とカメラの距離が55 cmの時に真値に最も近くなった。RealSense D435の仕様書には「理想的な距離は0.3〜3.0 m」と記載されているため、本研究では55 cmを最適な距離と定めた。

－ 199 －

図3 球までの距離と球の直径との関係

4．本実験
本実験では、服薬動作認識に適した位置・姿勢にRGB-Dカメラを移動できるかどうかを確認した。本実験でも対象物体として予備実験で使用した球を用い、次に示す2種類の実験を実施した。
1つ目は上下に動く球をカメラの中心に捉え続ける実験であり、2つ目は前後に動く球とカメラとの距離を55 cmに保つ実験である。球がカメラの光軸上にあり、カメラから球までの距離が55 cmであれば成功と言えるので、鉛直距離や水平距離を算出し、平均値や標準偏差で評価した。
1つ目の実験では、床面からの高さが30 cm、20 cm、30 cm、40 cm、30 cm、…となるよう、球を繰り返し上下に動かした。球は10 cm/sを目安に動かし、全部で5回行った。ここで、カメラ座標系は左方向をX軸の正方向とする右手系であり、上方向がY軸の負方向になることに注意していただきたい。
1つ目の実験の結果を図4に示す。横軸は時間、縦軸はカメラの中心から球の中心までの鉛直距離を表すグラフである。
「制御なし（点線）」に比べて「制御あり（実線）」の方が0 m付近にデータが集まっており、制御によってカメラの中心で球を捉えられていることが分かる。鉛直方向の誤差の平均値は0.010 mから0.000 mへと減少し、理想値の0.000と一致した。標準偏差は0.067 mから0.023mに減少したため、66％改善したと言える。よって、電動雲台は適切にRealSense D435を制御できたと結論付けた。

－ 200 －

図4 球の上下運動に合わせたカメラの姿勢制御

2つ目の実験では、球とRealSense D435の距離が55 cm、35 cm、55 cm、75 cm、55 cm、…となるよう、球を繰り返し前後に動かした。球は10 cm/sを目安に動かし、全部で5回行った。
2つ目の実験の結果を図5に示す。横軸は時間、縦軸はカメラから球までの距離を表すグラフである。
「制御なし（点線）」に比べて「制御あり（実線）」の方が理想値の0.55 m付近にデータが集まっており、球との距離を幾分調整できていることが確認できた。水平方向の距離の平均値は0.541 mから0.552 mへと変化し、目標の0.55 mに近づいた。また、標準偏差は0.134 mから0.083 mに減少したため、38％改善したと言える。よって、移動台車は適切にRealSense D435を制御できたと結論付けた。

図5 球の前後運動に合わせたカメラの位置制御－ 201 －

5．おわりに本研究ではRGB-Dカメラ・電動雲台・移動台車を組み合わせて卓上移動ロボットを実現した。このロボットはカメラの位置・姿勢を制御することができるため、薬を口の中に入れる服薬動作を高精度に認識できる可能性が高い。本実験では球を用いて卓上移動ロボットの動作を確認したが、今後は人間の顔を対象とし、実際に服薬動作の認識精度が向上するかどうかを確認する予定である。
卓上移動ロボット自体にも課題が残されている。例えば、球などの対象物体が左右方向に動いた時にもカメラの中心に捉え続けられるよう、移動台車を回転させたり電動雲台を回転させたりできるように改良する必要がある。また、本研究では簡単な制御方法を採用したため、より高度な制御方法により偏差を小さくしたいと考えている。
参考文献
1.

増田 宏,“大規模点群のための処理技術,”計測と制御, 計測自動制御学会, Vol. 60, No. 10,
pp. 716-720, 2021.

2.

Manabu Hashimoto, Yukiyasu Domae, and Shun’ichi Kaneko,“Current Status and Future
Trends on Robot Vision Technology,”Journal of Robotics and Mechatronics (JRM), Fuji
Technology Press, Vol. 29, No. 2, pp. 275-286, 2017.

3. R adu Bogdan Rusu and Steve Cousins, “3 D is here: Point Cloud Library (PCL),”International Conference on Robotics and Automation (ICRA), IEEE, pp. 1-4, 2021.

－ 202 －