【助成 2020-0013】 研究開発報告（研究期間：2020.10-2023.9）

学校生活における快適性と豊かなグループコミュニケーションを考慮した自動運転車いすの研究開発

沖縄工業高等専門学校 情報通信システム工学科 教授 中平 勝也【研究目的】
車いすを利用する学生は、様々なシーンで精神的・身体的な負担にさらされることが多く、学業的な遅れにも直結している。
本研究開発では、昨今、進展が目覚ましい自動運転技術をベースにして、通学時や学校での、友人・教師との円滑なコミュニケーションや、授業時・課外活動時のきめ細かなサポートが行える学校生活志向型の自動運転車いすの研究開発を行う 。
このような自動運転車いすは開発事例が少なく、障害を持つ学生も含めた全ての学生に均等な学びの場を提供するために、早急な研究開発が必要である。
【研究の経過及び成果】(1) AI セーフティナビゲート機能
まずは、コンピューターシミュレーションで自動走行技術を検討した。レーザー測域センサ（LiDAR）を搭載した 2 輪走行 車として Turtlebot3 Burger を用い、Robot Operating System (ROS)で使われている gazebo を用いてシミュレーションを行った。図１の 3 パターンの地図で検証を行なった。左から、障害物の無い長方形の開けた地図（パターン 1）、狭い通路がある地図（パターン 2）、前方に障害物が現れる地図（パターン 3）である。パターン 1 では、目的地までの自動走行が可能であることが確認できた。パターン 2 では、狭い通路を通って目的地までの走行が可能であることが確認できた。
パターン 3 は、走行中のロボットの前方に障害物を置いた際、LiDAR が障害物を検知したとき、ロボットはその場で停止し障害物を避けて目的地まで移動ができた。
パターン 1パターン 2パターン 3

図１. パターン 1,2,3 のシミュレーション結果

次に、電動車椅子のスケールダウンモデルとして、図２に示す 2 輪走行車を用いて様々な自動運転技術の実証実験を行った。画像からの任意の物体を検出するために画像検出のニューラルネットワーク Yolov5 を用いた。カメラ画像から、
resnet18 で画像内に障害物を検出した場合は、それを回避するように左右輪の速度を決定する。障害物がない場合は、Yolov5 で画像内の人間の中心座標を求め、中心座標に向かうように左右輪の速度を PID 制御で決定する。なお、障害物も人間も検出されない場合は、直進するように左右輪の速度を決定する。以上により、図２に示すように 2 輪走行車が障害物を避けながら、同時に人を追跡させることに成功した。

図２. 自作した２輪走行車とオブジェクトフォローの様子(2) アダプティブフォーメーション機能
ベースとして電動車椅子 WHILL Model CR を用いた。この電動車椅子は API と ROS モジュールが公開されているため、これまで開発し説明してきた様々な機能をそのまま用いることができる。電動車椅子の肘掛け部分にデプスカメラ(RealSENSE
DD435i)を装備した様子を図３に示す。デプスカメラは左に同 行する同行者との位置関係を把握するため、左に 30 度回転させて設置した。足元のスペースには、ディープラーニングマイコン(Jetson Xavier NX)が置かれている。デプスカメラは USB ケーブルでディープラーニング PC に接続され、デプスカメラの情報はすべて

図３. Whill とデプスカメラ

この PC を通じて処理される。
RGB 画像からの人間の検出にはディープラーニングのフレームである Yolov3 を用いる。Yolov3 で同行者を検出できた後は、古典的な画像のトラッキング方式（ソフトウェアとして Opencv を用いている）に切り替えて、同行者の行方を画像からトラッキングしている。Yolov3 や Opencv のトラッキングは、対象物を矩形(バウンディングボックス)で囲んで行う。アダプティブ
フォーメーションでは、上述したバンディングボックス、及びデプスカメラから得られる同行者との距離 D に応じて、電動車椅子が前後左右の移動や停止を行う。バンディングボックス中心座標から上下左右 50 ピクセルの範囲である 100×100＝10000 ピクセルの範囲に関して、デプスカメラと同行者の距離を取得する。10000 ピクセルの距離情報を平均し、電動車椅子と同行者との距離 D を算出する。具体的には、電動車椅子の動きは、距離 D=0.5m で停止する。距離 D>0.5mで前進する。距離 D<0.5m で後退する。さらに、バウンディングボックスがフレームの右側に移動すると電動車椅子は右側に回転し、バウンディングボックスがフレームの左側に移動すると電動車椅子は左側に回転する。
図４に実証実験の様子を示す。実験は、沖縄高専 1F 吹き抜けロビーで行った。同行者がデプスカメラの画角に入るように立った状態で実験を開始した。電動車椅子のデプスカメラが同行者を認識しているかを確認するため、同行者はノートパソコンを持って移動する。実証実験では、人間まで距離測定と人間の画像検出が成功し、電動車椅子は右回転、左回転しながら同行者をリアルタイムに追従できた。図５では、同行者との距離が 0.5m で電動車椅子が停止し、同行者との距離が 0.5m 以上になると動き出す様子が映し出されている。

図４. アダプティブフォーメーション実験の様子

図 5. 同行者と電動車椅子との距離確保（左 0.5m で停止、右 0.5 以上で移動）(3) 乗りごごち快適サポート機能
被験者に VR ゴーグルでジェットコースターに乗っている動画を見てもらい、乗り物酔いした状態を再現した。被験者が動画を見ている際の𝑆𝑝𝑂2を測定し、不快評価デバイスとしての有用性を検討した。動画視聴中と動画視聴後にボタンが多く押されていることから、乗り物酔いの状態の再現はできている。実験結果を図 6 に示す。青線は𝑆𝑝𝑂2、線線はボタン回答、色がついたゾーンは車椅子を操作して走行している状態である。ボタンを押された後𝑆𝑝𝑂2 が1～2%減少していた。なお、走行後に被験者 G、H では不快感はないと回答した。被験者
G、H は日常的に長距離運転や FPS(First Person Shooting game)をしており、乗り物酔いや 3D 酔いに耐性があると考えている。𝑆𝑝𝑂2は 3～4%の低下は臓器の異常が医学的に示唆されているため、実験結果より 1～2%の𝑆𝑝𝑂2低下が不快度を示していると考えられる。これより、心拍・酸素飽和度モニタは不快感測定に対して有用性が高いと結論付ける。

(4) ダンシング機能
学生は地元のカチャーシー踊りやエイサー踊りの祭りなどの地域イベントに参加したくても気が図 6. 被験者 G, H, I引ける現状がある。本実証実験では、踊り手が持っている太鼓をたたくバチに加速度センサーを取り付け、バチの動きで車椅子ダンスを表現する。図７の黄色のステックに示すように、加速度センサー(rt_usb_9axisimu)をバチ(3D プリンタで作成)に組み込んだ。サーバ PC (Jetson-nano)にUSB ケーブルでバチを接続し、バチの傾きを検出した。サーバ PC は、バチの傾きのを ROS トピックに変更し、無線ルータを介して 2 輪走行車に送信する。本実験では、バチの傾きと 2 輪走行車の移動を関連づけることで、バチの傾きに応じて 2 輪走行車があたかもダンスしているように動き回らせることができた。

図 7．バチによる Jetbot のダンシングの様子

【今後の課題・展望】
・5G ネットワークを用いた遠隔のサーバーからの制御が行えなかった。今後は、クライアントとサーバーを VPN で接続することで、ROS トピックの通信が可能であると考えている。
・自動運転や障害物回避や乗り心地快適サポートの実装も行いたい。また、介護施設などへのヒアリングを行い、緊急停止機能など安全面を配慮した機能の追加や、その他の新機能や機能改良も行いたい。最終的には、製品版までアップグレードを行い、世の中で販売されるようにしたい。
以上