情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D132022/2/21

人間との協調作業が可能な屋内外対応
ゴミ回収支援ロボットの開発
堀本 大翔†1 宮脇 健三郎†1 西口 敏司†1
概要： 掃除に関するロボットの利用においては，室内の集塵を行うロボット掃除機が既に普及しており，アームを使ってゴミを回収するロボットなども研究されている．しかし，ロボットによってゴミと判定された物体が人間にとってもゴミなのかを判別しなければ必要な物品が廃棄される恐れがある．そこで本研究では，人間との協調作業が可能な屋内外対応ゴミ回収ロボットを提案する．このロボットはペットボトルや缶のようなゴミを人間と協力して回収することができる．具体的にはロボットが指定された場所に移動して物体を検出した後，検出された物体に対して距離と位置の計測を行い，物体を把持・視認しやすい位置に自律移動する．そしてその物体がゴミなのか否かの人間の指示に基づき回収するものである．動作確認の結果，人間とロボットの協調的なゴミ処理作業ができることを確認した．

1. はじめに

3. システム構成新聞・テレビ等で 2030 年までに持続可能でよりよい世

3.1 システム概要

界を目指す国際目標である SDGs（Sustainable Developmen

本研究では，ロボットにコンピュータ，アーム，レーザt Goals）を頻繁に耳にするようになった[1]．日本政府や企レンジファインダ，ステレオカメラを搭載した．ロボット業等もゴミ問題に対して様々な取り組みを実施しているに搭載されたハードウェアの詳細は以下の通りである．ロ[2]．一般家庭においては，主に室内の集塵を行うロボット

ボットの外観を図 1 示す．

掃除機が市販され普及している[3]．このように屋内外や目•的を問わずゴミを回収するロボット技術の重要度が高まってきている．

深層学習による物体検出が可能である．
•業が可能な屋内外対応のゴミ回収ロボットを提案する．こて物体の把持を行う．
•

レーザレンジファインダ：SlamTech RPLiDAR A325m の距離まで 360 度のスキャンが可能である．の回収を支援する．近年の画像認識技術を用いればゴミの可能性のある物体を検出することができるが，その物体がアーム：Elephant Robotics myCobot
6 軸の可動域を持つ．本研究では，吸引ポンプを用い以上のような背景に基づき，本研究では人間との協調作のロボットはペットボトルや缶のような比較的大きいゴミ

コンピュータ：NVIDIA JETSON XAVIER NX•

Stereo camera：Stereolabs ZED

人間にとってゴミかどうかを判定する必要がある．本研究検出された物体までの距離計測に用いる．Depth 値がで開発したロボットは人間の判断を仰ぎつつ，正確にゴミ最小 0.3m から最大 25m まで計測可能である．図 2 にだけを回収することが可能である．

RGB 画像と対応する Depth 画像の例を示す．

2. 関連研究一般家庭において日常生活補助をするロボットや，屋外の実環境下で自律走行し，自動でゴミを回収するロボットが研究されている[4][5][6]．平田らは，一般的な屋内用掃除ロボットにアームとセンサを取り付けペットボトルや缶など手のひらサイズのゴミを回収できるシステムを開発している[7]．しかし，この研究ではロボットが完全自動で人間

図1

ロボットの概要と協調することなくゴミを回収しているため，回収対象物体が人間にとってゴミでなくても回収してしまう．
本研究はロボットが適宜人間の判断を仰ぐことでこのような事態を回避することを目的とする．
(a)RGB 画像
図2(b)Depth 画像

RGB 画像と Depth 画像の例

†1 大阪工業大学 情報科学部© 2022 Information Processing Society of Japan

442

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

ロ ボ ッ ト の 制 御 に は ， オ ー プ ン ソ ー ス で あ る Robot

3D13
2022/2/21

3.

Operating System(ROS)を用いてシステムの開発を行った[8]．

上記 2. で取得した複数の値の中央値を算出し，その値をロボットと物体の距離とする．

ROS は プ ロ セ ス 間 デ ー タ 通 信 の モ デ ル と し て
Publish/Subscribe 型が用意されており，図 3 に示すモデル
で ROS ノード（実行プログラム）が通信しあって複雑な処理が実現される．

図5

物体が検出された範囲の Depth 画像

3.4 目的地までのナビゲーション
図3

ROS における通信モデル

屋内では，ユーザに指定された目的地までの最短経路をロボットが自律移動するためにノードとエッジを用いて重3.2 人間との協調作業

み付きの単純な無向グラフを作成した．目的地までのナビロボットと人間との協調作業を実現するための GUI をゲーションの流れは以下のとおりである．4 章の動作確認実装した．実装した GUI と説明を図 4 に示す．ロボットがを行なった場所で作成したグラフを図 6 に，GUI を介した床あるいは路上の物体を認識したとき，この物体が人間にインタラクションのフローを図 7 に示す．なお，図 7 のとってゴミかどうかをロボットが完全自動で判断すること

Status とは図 4 内で示されているロボットからのメッセーは困難である．そこで，人間が操作に介入可能である GUIジである．

を実装することによってロボットとの共同作業を可能にし1.

た．さらに，ROS が起動する PC をロボットに搭載されて単純な無向グラフを作成し，作成したグラフに頂点と辺を追加する．

いるコンピュータとは別に 1 台用意し，通信を行うことで2.

グラフの頂点と辺の座標に基づいて重みを算出する．

遠隔でロボットを GUI で操作することができる．

3.

ロボットの現在の場所から上記 1. で作成されたグ
ラフの 1 番近い頂点をスタート時点に指定する．

4.

ユーザに指定された目的地と上記 2. で指定したス
タート時点の 2 つのノード間の最短経路を作成する．

5.

上記 3. で作成された最短経路に沿って目的地まで移動する．

図4

GUI の説明

3.3 物体の検出と距離計測
リアルタイム処理が可能な物体検出アルゴリズムである
YOLOv3[9]を用いて物体の検出を行った．このアルゴリズ
図6

ムにより物体の検出とその物体の重心座標を取得する．そ重み付きグラフの後はロボットがアームを用いてゴミを回収する際にアームで把持可能な範囲に移動する必要がある．そのため，ZEDの Depth を用いて物体との距離を計測する．距離計測の流れは以下のとおりである．YOLOv3 によって物体が検出された範囲の Depth 画像例を図 5 に示す．
1.

ZED から配信されている Depth の ROS トピックを受信する．

2.

YOLOv3 から取得した物体の重心座標とその座標を

図7

目的地到達までのユーザと Robot の通信中心とした周辺座標の Depth 値を取得する．

© 2022 Information Processing Society of Japan443

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D13
2022/2/21

3.5 物体の検出と写真撮影
ロボットが指定された場所に移動した後，物体の検出と回収を行う．流れは以下のとおりで，以上の GUI を介したこのインタラクションのフローを図 8 に示す．
1.

ロボットが物体を検出するまでその場で回転を続ける．

2.

上記 1. でロボットが回転している途中に物体を検出した場合物体の重心座標に合うようにロボットが回転する．なお，360 度回転しても検出できなかった
図9

場合ユーザに知らせて終了する．
3.

3.3 節で述べたとおりの流れで距離を計測する．

4.

上記 3. で距離が計測できた場合ロボットは把持可能な範囲まで調整するのに適した距離をとる．しかし，3.1 節で述べたとおり ZED の Depth 値の範囲のユーザとロボットの通信

4. 動作確認

最小値は 0.3m であるのでロボットと物体の距離がこれまでに説明した一連の処理を実装し，動作確認をしそれより短いと計測ができない．そのため，計測がた．確認用の回収対象物体はペットボトルとし，ロボットできなかった場合ロボットは後ろに 0.3m 下がる．なは屋内で動作させた．確認した動作は以下の通りである．

おそれでも距離を計測できない場合は図 4 の GUI のD-pad でユーザがロボットを操作する．
5.

物体の識別とゴミ回収・廃棄における1.

ロボットが目的地まで自律移動し，物体を検出する．

2.

検出された物体との距離を計測し，アームでの把持に適した距離まで車体を移動させる．今回は適したロボットがユーザの操作によって，検出した物体の距離をゴミから 0.5m の位置とした．

写真を撮る．
3.

ロボットが物体の写真を撮影した後，GUI でその写真をユーザに提示し，物体がゴミであるかどうかの判断を仰ぐ．

4.

その物体がゴミであった場合はロボットがゴミを回収し，ゴミ箱に廃棄する．

ロボットが物体と把持や写真撮影に適した距離をとった様子，アームのポンプを用いてゴミを回収・廃棄した様子を図 10(a)~(c)に示す．また，ロボットが検出した物体をゴミとして回収するのかどうかについてユーザに対し指示を仰いでいる時の GUI 画面を図 11 に示す．
図8

物体の検出と写真撮影におけるユーザとロボットの通信

3.6 ユーザ判定に基づくゴミの回収と廃棄ロボットは物体を検出した後，ユーザからのゴミか否かの判定を受け，その指示に基づいてゴミの回収と廃棄を行う．この流れは以下のとおりで，GUI を介したインタラクションのフローを図 9 に示す．
1.

図 10(a)物体と適した距離をとった様子

3.5 節で撮られた物体をユーザがゴミか否か判断する．

2.

上記 1.でユーザにとってゴミでなかった場合，ロボットは動作を終了する．ゴミであった場合，ロボッ
トは事前に調節したゴミを回収するのに適した角度にアームを移動させてゴミを回収する．

3.

3.4 節で述べたとおりの流れで目的地をゴミ箱とし，その場所まで移動する．

4.

図 10(b)

ゴミを回収した様子

ロボットはゴミをゴミ箱に廃棄し動作を終了する．

© 2022 Information Processing Society of Japan444

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D13
2022/2/21[7]平田 鷹志, 山暗 亘, クリスチャンデウス カヤオ, 吉川 雅博, 池田 篤俊, 高松 淳, 正 小笠原 司．ロボットアームを搭載した室内掃除ロボット．ロボティクス・メカトロニクス
講演会講演概要集 2015. 一般社団法人 日本機械学会, 2015.
pp. _2P1-E03_1-_2P1-E03_3.
[8] “ROS”
http://wiki.ros.org/, (参照 2021-11-16)[9] Joseph Redmon and Ali Farhadi. Yolov3: An incrementalimprovement. arXiv preprint arXiv:1804. 02767, 2018.

図 10(c)

図 11

ゴミを廃棄した様子

ロボットがユーザの指示を待っている状態の GUI

5. まとめと今後の展望
本研究では，検出した物体を把持して回収・廃棄するゴミ回収支援ロボットに対して，人間が動作に介入が可能なシステムを開発した．具体的にはロボットが検出した物体を無差別にゴミとして廃棄するのではなく，その写真をユーザ介入用の GUI ソフトに送信し，ゴミか否かの判断を仰ぐことができるようにしたことで，人間とロボットの協調的なゴミ処理作業を実現した．実装したシステムを用いて目的地までの自律移動や物体検出，ユーザに物体の写真を送信しゴミであるどうかの判断を仰ぎ，ロボットがゴミを回収・廃棄する一連の動作が問題なく行われていることを確認した．今後はより多くの種類の複数物体を検出し正確に把持できるようなロボットの実現を目指したい．
謝辞

本研究の一部は JSPS 科研費 21K02933 の助成を受けたものです．

参考文献
[1]

[2]

[3]
[4]
[5]
[6]

“JAPAN SDGs Action Platform”.
https://www.mofa.go.jp/mofaj/gaiko/oda/sdgs/, (参照 2021-1116).
“JAPAN SDGs Action Platform 14 海の豊かさを守ろう取組事例”.
https://www.mofa.go.jp/mofaj/gaiko/oda/sdgs/case/goal14.html/,(参照 2021-11-16).
“iRobot 社 Roomba”.
https://www.irobot-jp.com/roomba/, (参照 2021-11-16).
“ロボカップ＠ホーム”.
https://www.robocup.or.jp/robocup-athome/, (参照 2021-11-16).
“つくばチャレンジ”.
https://tsukubachallenge.jp/, (参照 2021-11-16).
“Nakanoshima Robot Challenge”.
https://www.nakanoshima-rc.jp/, (参照 2021-11-16).

© 2022 Information Processing Society of Japan445