ロボット学会オープンフォーラム「ロボットとAIの融合の最前線～NEDO AIプロジェクトの産学連携の実例～」「オンサイト・ティーチングに基づく認識動作AIの簡易導入システム」の研究開発

2021.9.8
東京大学 岡田 慧
THK株式会社 山之上祥介

研究開発の目標
AI技術の発展により，アノテーション作業さえすれば，３次元CADで表現できない対象の認識が可能になってきた．
→ ロボット活用領域の拡大
人手のかかるアノテーション作業を，ロボットが代替することでAI導入を支援する．

画像処理ソフトHALCON
https://linx.jp/product/mvtec/halcon/feature/3d_vision.html

・ ２０１５－２０１７に開催されたAmazon Robotics
Challenge で利用された40個の物品．
・ 約5万点の写真を撮影，アノテーションに一週間（中部大学・藤吉教授）。

1

目標に向けた課題

知能ロボットを用いた単純繰り返し作業の代替によるAI導入工ストをの削減．

認識対象物体を掴んで見まわす

半自律データセッ
ト収集

認識AI
Auto Generated Images

研究開発小項目（担当：THK株式会社）⑤ 安全・低電力ティーチングロボッ
トに関する研究開発⑥ ウェアラブル型作業ティーチングシステムに関する研究開発⑦ クラウド連携ロボット管理・運用
システムの構築

模倣学習による動作学習修正

研究開発小項目① セマンティック作業マップを用いたオンサイト教示支援技術の研究開発
動作AI

人の所作の観察と注視動作の抽出
研究開発小項目② 模倣学習による動作AIの簡易導入技術に関する研究
研究開発小項目③ 透過型検証環境による最適ソリューション選択技術に関する研究開発
オープンソースロボットプラットフォーム

研究開発小項目④ 認識動作AIの簡易導入システム開発とアジャイル型実証評価実験
研究開発小項目⑧ オンサイト・ティーチングロボットとAI簡易導入システムの実証実験（担当：THK（株））
NEDO「ロボット活用型市場化適用技術
2開発プロジェクト」パンフレットより

本研究におけるAIの活用

AIの簡易導入を可能にする技術の開発
ロボット分野ではAI技術により活用領域の拡大
NEDO 2015-2019 ロボット活用型市場化適用技術開発プロジェクト

AI技術の発展により可能になった対象（例：工業部品から日常用品へ）
×

サービスの市場規模（例：工場の組立作業の自動化から配送箱詰めの自動化へ）

×

AI技術の導入コスト（例：初期導入から維持管理へ）

3

本研究における産学連携の活用<ソフト面の支援>
・最新技術情報享受
・認識/動作/学習の技術・知見(アドバイス)
・社員教育
・プレゼンス

委託

東京大学(教育/研究機関)

NEDO殿<総合的な支援>
・技術推進
・資金の支援・他分野との連携支援
・出口サポート
etc...

再委託
人工知能＋ロボット連携
で導入加速化THK(ものづくり企業)<ハード面の支援>・ロボット製造技術提供
・実運用の場・事業化などの出口(案件)

本プロジェクト以前より上記体制にて連携→DRC,ARC,MBZIRC,FCSC,R7ソフト開発等

4これまでの研究成果① 半自律データ取得・アノテーションによる認識AIの簡易導入技術に関する研究開発（担当：東京大学）
2020年度進捗：見まわしデータ獲得,アノテーショ
ンデータ生成のプロトタイプ作成．学習済みネットワークの作製に取り組んでいる．AI認識処理の実行についてはTHKと共通システムを構築．
アノテーションデータ生成
RGB / Mask Image見まわしデータ獲得

生成されたアノテーションデータ

Contour Extraction

対象物を異なる視点から観測する
Sub sampling
Polygon (Lavelme fmt.)
前景と背景を分離した認識対象の輪郭データを生成

中国のAI開発を支える人海戦術
https://newspicks.com/news/3577788/body/

学習済ネットワークを生成
アノテーションデータを受け取り学習済ネットワークを作成するサーバシス
テム（2020年度）

ロボット上でAI認識処理の実行→2021.4 にTHKを訪問しすり合わせ

ロボット自身がアノテーションした5

これまでの研究成果② 模倣学習による動作AIの簡易導入技術に関する研究（担当：東京大学）
2021年度目標：１回の指示で店舗内商品の配置、運搬、品出し動作の教示と、その動作の自己実行学習修正AI技術を研究開発する。また動作AIの導入コストの評価を行う。コストの計算は、動作AIに必要とされる動作データ取得にかかる時間に対し、模倣学習の枠組みを導入することでその時間が１/10以下となることを確認する。
2020年度進捗：1回の演示で，物品の把持タスク等の教示を実現．
• 2種類（右から左，左から右）の注ぎ動作(pour)をGUI上で教示• システムは対象物体の特徴（コップとペットボトルの口）と動作を紐付け．
• 初見のコップ・ペットボトルで動作を想起可能．

6

これまでの研究成果⑤ 安全・低電力ティーチングロボット（担当：THK株式会社）
2020年度進捗：片腕を試作し動作を検証。8kg可搬を確認。
2021年度目標：アクチュエータの評価を行い、機体に搭載できる形状へと最適化を進める。上記アクチュエータを搭載したロボット全身の試作/検証を行う。
2017-2019
NEDO「ロボット活用型市場化適用技術開発プロジェクト」開発 R8

改良
力覚＋直動アクチュエータ
実作業に耐えるロボット⑥ ウェアラブル型作業ティーチングシステム（担当：THK株式会社）
2020年度進捗：腕部試作を製造し検証
2021年度目標：ロボットとの連携とハードの改良。
ウェアラブル型教示装置
7

これまでの研究成果⑦ クラウド連携ロボット管理・運用システムの構築（担当：THK株式会社）
2020年度進捗：認証、通信の基本機能を作成
2021年度目標：クラウドを経由したウェアラブルティーチングシステム～ロボットの遠隔制御システムを構築する。
<システム仕様>
セキュアな認証/遠隔操作/管理運用をロボットに提供・クラウド・ロボット管理用Webアプリ
・遠隔起動用Webアプリ・ロボットローカルの外部接続端末
・ロボット制御PC・外部拡張端末等でシステムを構成
各コンポーネント間はデータのカテゴリ、重要度等によりSSL/TLS,VPN,OPC UAの通信を使い分ける<構築したシステム>
認証～動作指示～各ロボットの状態確認までの基本機能を実装

クラウド連携ロボット管理・運用システム全体図8これまでの研究成果
THK社内開発システム(SEED Ground Station)との連携予定例
ロボットの動作生成＋マップの操作＋認識＋オブジェクト操作などをGUIで行えるソフト

機能ブロックに当たる部位に本研究の成果を入れる(APIのような形)ことを予定→入出力さえ明確化すれば他のシステムでも容易に利用可能
9これまでの研究成果④ 認識動作AIの簡易導入システム開発とアジャイル型実証評価実験（担当：東大）⑧ オンサイト・ティーチングロボットとAI簡易導入システムの実証実験（担当：THK（株））
2020年度進捗：社内実証環境の構築と実証フィールドの検討
2021年度目標：本研究に対し知識を持つ登録研究員がロボットに対し教示を行う事を目標とする。またその際に従来の人海戦術で行う画像認識用データセット準備作業や教示作業に対しどの程度の導入コスト削減に寄与できるかの実証を進める。
<社内実証環境構築><実証フィールド検討>

コンビニ想定で実験環境準備10

得られた知見• AIを使って上手くいったこと→ AI技術が有効な場面・市場の開拓• 産学連携で上手くいったこと→ 長期の協創関係．技術の共有，移転• これからのチャレンジ、課題→ AI技術の商品化，市場化• 同様の試み（ロボット×AI、産学連携）を考えている
皆さんへのメッセージ→ 想定外の市場・技術の宝庫．議論と試行を繰り返して発掘．
11

まとめ

• AI技術の簡易導入• 認識AI：アノテーション作業の自動化• 動作AI：見まねによる動作の自動獲得• AI技術対応ロボット• 安全低電力ティーチングロボット• ウェアラブル作業ティーチングシステム• クラウド連携ロボット管理・運用ステム• THK-東大の産学協創の積み重ね

12

END13