エッジAIデバイスと計測システムを組合わせた人を補助するロボットの構築
杉本 大志@IoT班(電気電子工学講座 通信システム工学研究室)
於R3.01.29 第9回仕繰りセミナー

アジェンダ• IoTとエッジAIデバイス• ロボットとの融合• 具体例(1): 深層学習を搭載した完全自律型水田雑草除去ロボットの開発• 具体例(2): ホームロボットを用いた高齢者見守りシステムの開発• 今後の課題

アジェンダ• IoTとエッジAIデバイス• ロボットとの融合• 具体例(1): 深層学習を搭載した完全自律型水田雑草除去ロボットの開発• 具体例(2): ホームロボットを用いた高齢者見守りシステムの開発• 今後の課題

IoTとエッジAIデバイス• IoT (Internet of Things，モノのインターネット)– モノを直接インターネットに接続する仕組みのことで，パソコンやスマートフォン以外のものもインターネット(=クラウド)につなげる事ができる．
– インターネット回線を利用した家電を「IoT家電」と呼び，近年高い需要がある．

• 従来のイメージでは，パソコンやスマホなどのICT機器が，クラウドにつながっている「モノ」であった．
• 基本的には，ユーザの利用データをクラウドに送り，計算してから送り返す，という工程で動いている．
– たとえば，「利用が少ない時間帯の電力を節約する」といったことを，デバイス側が判断して実行する．

上記画像は「いらすとや」より

IoTとエッジAIデバイス• エッジデバイスは，クラウドに繋がっている，ありとあらゆる領域の先端部で稼働するデバイスを指す．
– いわゆる「IoT家電」は，エッジデバイスの一種．
– エッジデバイスの役割• データをクラウドへ送信する．
• 集積したデータを計算する．
• 計算結果を返送する．
• 結果をもとに動作へ反映する．

• エッジAIデバイス– エッジデバイスは，AIと非常に相性がいいシステム．
– 本来エッジデバイスは，収集した情報をその場で計算する仕組みであり，ここにAIが加わることで，より高度な推論や予測といった効果を発揮できる．

エッジAIデバイスの代表例 NVIDIA Jetson(左: Xavier NX，右: Nano)

推論用にGPUを搭載していることに特徴がある

アジェンダ• IoTとエッジAIデバイス• ロボットとの融合• 具体例(1): 深層学習を搭載した完全自律型水田雑草除去ロボットの開発• 具体例(2): ホームロボットを用いた高齢者見守りシステムの開発• 今後の課題

ロボットとの融合
エンタテイメント

ホーム・ソーシャルユース

• 用途の拡大• 生活に密着した様々な状況下での使用• 使用者の拡大• ロボットに関する専門知識を持たない人々の使用

災害救助・極限環境

実環境下における自律的・半自律的な行動が可能なロボットの探求

ロボットとの融合
ロボットが直面する「実環境」
実環境とは特徴

ロボットの為に特別に用意・整備された空間ではなく，人間あるいは他生物の生活空間から物理的に移動可能な空間・場所．

・複雑性

・リアルタイム性
・開放性

例えば・道路・建築現場:環境の状態を決定する要因が無数に存在する:時間に応じて不可逆的に刻々と変化していく:考えるべき環境と無視してよい環境とに境界がない
・公園

・農地/水田・一般家庭
・水中・学校・極地・デパート・宇宙空間

ロボットと実環境
実環境

行為者

ロボットとの融合
・複雑性
・リアルタイム性・開放性

生物・機械など環境内に存在し，活動するモノ．
実環境の複雑さに対して不完全な能力しか持ち得ない．
・環境認識の不完全性・処理能力の不完全性: 限られた感覚器官による環境認識: 意思決定・運動制御などの限界

限られた身体能力の中で複雑な実環境へ適応する能力の必要性

現在の研究テーマ

ロボットとの融合

予測モデルを用いて未来を予測し, 意思決定に反映する状態行動対予測
ロボットの制御系開発支援システムの研究

ロボット

複数ロボット間でのコミュニケーションに生物的規範を導入する研究
人の作業支援ロボットの開発

ロボットとの融合
社会への普及を目指して予測モデルを用いて未来を予測し, 意思決定に反映する状態行動対予測
ロボットの制御系開発支援システムの研究

ロボット

複数ロボット間でのコミュニケーションに生物的規範を導入する研究
人の作業支援やお年寄りの見守りロボットの開発

ロボットとの融合• 人間と共存する環境で動作する場合，「目」や「耳」，「判断するための脳」，どこか(の同類)に伝達・発出するためのコミュニケーションツールのような補助具が必要となる．
– このような場面で利用されるツールがIoTという概念，エッジAIデバイスであり，計測システムとしてカメラやレーザスキャナといったものが登場してくる• 感覚器と判断機構が移動ロボットシステ
ムと融合する事によって，ロボットの認識や感覚が高められる．
– 複雑な環境下でタスクを遂行できる

クローラ型ロボットに載るエッジAIデバイス(右上)，LiDAR(左上)，単眼カメラ(右下)アジェンダ• IoTとエッジAIデバイス• ロボットとの融合• 具体例(1): 深層学習を搭載した完全自律型水田雑草除去ロボットの開発• 具体例(2): ホームロボットを用いた高齢者見守りシステムの開発• 今後の課題はじめに約3倍ロボットの導入が必要半減はじめに車両型

マニピュレータ型

https://www.yanmar.com/jp/agri/products/tractor/
https://www.yanmar.com/jp/about/company/yaj_hokkaido/products/conbine/

施設型

https://robotnaut.net/archives/6702

アシスト型

http://www.iseki.co.jp/products/nougyou/tugiki/
http://www.cornesag.com/product/milking/milking_robot/
astronaut_a4/feature.html

https://www.kubota.co.jp/new/2017/17-07j.html

先行研究と問題点
走行範囲

• 水田内
• 畦畔
• 法面

走行部

多様な作業環境に適用

除草部

雑草を除去

センサ・制御自律走行を行う

ICT

遠隔で作業状況を確認

問題点と解決に必要な課題
走行範囲

• 水田内
• 畦畔
• 法面 課題

走行部

多様な作業環境に適用

除草部

雑草を除去
• 『草』の検出と認識• 稲を回避しながら除草センサ・制御• 非整備環境下での走行• 柔軟な走行アルゴリズム
自律走行を行う

ICT

遠隔で作業状況を確認

この研究の目的
具体的な内容• 『草』の検出と認識• 稲を回避しながら除草• 非整備環境下での走行• 柔軟な走行アルゴリズム

検証実験

水田における完全自律型ロボットの実証実験(H30 国立研究開発法人 科学技術振興機構 A-STEP機能検証フェーズ)
AIを搭載した自律型水田除草ロボットの開発(R2 文部科学省 科学研究費助成事業 基盤C)

アジェンダ• IoTとエッジAIデバイス• ロボットとの融合• 具体例(1): 深層学習を搭載した完全自律型水田雑草除去ロボットの開発• 具体例(2): ホームロボットを用いた高齢者見守りシステムの開発• 今後の課題はじめに見守りシステムの導入が急務となりつつある増加の一途

本研究が目指すところ• (独居)高齢者が意識すること無く「寄り添うように」見守るシステムの構築
既存回線による通信
異常の通知

正常or異常の発信
WiFi
通信・見守り・充電・位置情報
・画像取得

電力線
通信

電力線通信
・利用状況
・各種センサ値

本研究が目指すところ
 必要な要素技術• (独居)高齢者が意識すること無く「寄り添うように」見守るシステムの構築

1. 巡回に供するロボットのマッピング技術
2. 各種家電をセンサと見なしネットワークと一体化する電力線通信技術
3. 外部へ個人情報を漏洩させないための，電力既存回線に線通信部分と一般通信回線との切り分け よる通信
4. 外部へ個人情報を出さず，かつ膨大なデータ
正常or異常を送り付けないエッヂコンピューティングのの発信適用 異常の通知
5. 各種クラスタリングによる正常異常の解析，深層学習による人物特定・見守り・充電
・位置情報
・画像取得

WiFi
通信

電力線通信

電力線通信
・利用状況
・各種センサ値今回注目するポイント

既存回線による通信
異常の通知

正常or異常の発信
WiFi
通信
・見守り・充電・位置情報・画像取得

電力線
通信

電力線通信
・利用状況
・各種センサ値

見守りロボットの役割
居住者追跡タスク

姿勢検知タスク居住者追跡タスク
深層強化学習の適用
 深層学習の一種である
 エージェントが現在の環境の状態を観測し行動する
 行動の結果に対して環境から報酬を得る

 この報酬が最大化されるような行動を学習する事で, 与えられたタスクの解法を得る

 Q学習で言うQ空間は, CNNによって表現され, 実問題への適応度が著しく高い

居住者追跡タスク(1) LiDARとROSを用いた実試走

(2) シミュレーション - 1(Ordinary DQN)

(Proposed method)

居住者追跡タスク(2) シミュレーション - 2

居住者追跡タスク

姿勢検知タスク
物体検出と姿勢推定モデルの適用
 移動ロボットが巡回時，「見守るべき相手」の様子をカメラで確認する．

 物体検出モデルによって，カメラが捉える画像内の物体を識別する．
 「人間」だけを画像中心に捉え続けるよう，カメラの上下左右の向きを調整する．

 姿勢の結果次第で通報などのアクションを取る

 姿勢推定モデルによって，転倒，うずくまりといった正常ではない姿勢を推定・検知する．

姿勢検知タスク(3) 人の追跡と姿勢の検知試験

電力線通信とホームロボット搭載型転倒検出アルゴリズムを用いた生活支援システムの開発(愛媛大学 令和２年度工学部長（理工学研究科工学系長）裁量経費)電力線通信と小型モーションセンサを用いた生活支援システムの開発(愛媛大学 令和元年度愛媛大学研究活性化事業 スタートアップ支援)アジェンダ• IoTとエッジAIデバイス• ロボットとの融合• 具体例(1): 深層学習を搭載した完全自律型水田雑草除去ロボットの開発• 具体例(2): ホームロボットを用いた高齢者見守りシステムの開発• 今後の課題

今後の課題
実機・実問題への適用• 実機・実問題への適用から見える改善点• 実機・実問題を見据えた必要能力の再考
予測モデルを用いて未来を予測し, 意思決定に反映する状態行動対予測
ロボットの制御系開発支援システムの研究

ロボット

複数ロボット間でのコミュニケーションに生物的規範を導入する研究
人の作業支援ロボットの開発

今後の課題
個別研究を統合・システム化• 統合された一つのシステムとして構築
予測モデルを用いて未来を予測し, 意思決定に反映する状態行動対予測
ロボットの制御系開発支援システムの研究

各継続研究について完成度の向上• 精度・性能の向上• 機能の進化ロボット

複数ロボット間でのコ
ミュニケーションに生物的規範を導入する研究
人の作業支援やお年寄りの見守りロボットの開発