2021年度 研究成果報告中村啓太（会津大学）

1

発表内容
❖ データ拡張に基づいた深層学習によるインフラ点検・災害対応のための物体認識❖ 大学等の「復興知」を活用した人材育成基盤構築事業❖ 若手人材が輝くロボット・ICT人材育成プログラム❖ World Robot Summit 2020 福島大会
❖ 災害対応標準性能評価チャレンジ

データ拡張に基づいた深層学習によるインフラ点検・災害対応のための物体認識
中村啓太，阿部翔，岩崎有真

2

はじめに
❖ 工場設備の点検タスク❖ 圧力計・温度計の読み取り❖ バルブやレバーの開閉❖ サビ・ボルトの緩み確認 など❖ ロボットによる自動点検の需要が高い❖ プラントで求められる検査能力と人が立ち入るには狭隘，かつ危険な箇所

現状のロボットの能力には大きな差❖ ロボット競技会: タスク解決型❖ World Robot Challenge❖ RoboCup Rescue Robot League

災害対応ロボット

試験用プラント | 福島ロボットテストフィールド5

ロボット競技会 | World Robot Summit 2020

3

研究背景
❖ ロボット競技会: ロボットの遠隔操作 / ロボットの自律制御❖ 搭載されているカメラ映像から物体認識ができれば，インフラ自動点検や災害対応に応用できる❖ ロボットからのカメラ映像は， 太陽光や背景色などの環境からの影響をノイズとして受けてしまうため，従来の画像処理技術では，検出結果が環境に左右される

例: アナログメータ読み取り

光の反射あり

二値化処理

誤検出

4

研究目的
❖ データ拡張に基づいた深層学習によるアナログメータ読み取り❖ ノイズに対して ロバスト，かつ高い読み取り精度を実現
分解合成

変形

❖ データ拡張に基づいた深層学習を行い，プラント点検タスクにおいて様々な分野で応用できる『危険物サインの認識』，『レバーおよびバルブの姿勢推定』の解決を目指す

危険物サイン

レバーバルブ光の反射を考慮した
アナログメータの自動読み取り

5

危険サインの認識❖ ロボット競技会で使用されている危険物を表すピクトグラム❖ 15種類を対象
1. Explosives
2. Blasting Agents
3. Flammable Gas
4. Non-Flammable Gas
5. Oxygen
6. Fuel Oil7. Dangerous When Wet
8. Flammable Solid
9. Spontaneously Combustible
10. Oxidizer
11. Organic Peroxide
12. Inhalation Hazard
13. Poison
14. Radioactive
15. Corrosive❖ ロボットに実装するために，リアルタイムオブジェクト検出❖ 手法の1つである YOLOv3(You Only Look Once)を利用

6

アプローチ | 危険物サインの読み取り❖ YOLO: 教師データとして大量の画像が必要❖ 危険物サインを対象とした教師データセットはないため，幾何学的な変換を伴うデータ拡張を利用

1. アノテーションとよばれる画像のどの部分を学習させるかを矩形で指定を行い，画像情報を表す座標を得る
2. OpenCVで画像の回転と拡大縮小を行うことで，各サインにつきアノテーション情報付きの画像を人工的に1000枚生成
3. 教師用とテスト用にデータを分け，YOLOの学習を実施❖ ニューラルネットフレームワーク Darknetを利用

学習したYOLOでの読み取り結果

7

実験結果 | 危険物サインの読み取り❖ 各ラベルにつきテスト画像を100枚使用: 読み取り精度100%❖ 視覚的に類似なサインも分類可能8

検証実験 | 部分的に隠された危険物サイン読み取り❖ 部分的に隠されたサインが認識されるかどうかの検証❖ 上部，下部，左部，右部に対し，10%ずつ隠していき，認識率の変化を確認する

0%

30%

60%

90%

❖ 評価: 認識率R(%)
TPR=
⇥ 100
TP + FP<latexit sha1_base64="s+0vuxiWHatTyoGlLVO8/P/R0f8=">AAACn3ichVFNSxxBEH1ONOqaxI1ehFwmLoZAYKkJYkQIiIJ6knF11eAuy8ykVxvni5neBR32D/gHPHhRIUjIzxAkt+TiwZ8gORrw4iG1syP5WJJU092vXtWrru62Q1fGiuiqR3vQ2/ewf2AwN/To8ZPh/NOR9ThoRI4oO4EbRJu2FQtX+qKspHLFZhgJy7NdsWHvzrfjG00RxTLw19ReKKqete3LunQsxVQtP1PS3+qVemQ5ScWz1I5UyZrZav3qvLrHCxzQK0p6ItYNolq+QEVKTe8GRgYKyMwM8meo4D0COGjAg4APxdiFhZjHFgwQQuaqSJiLGMk0LtBCjrUNzhKcYTG7y+s2e1sZ67PfrhmnaodPcXlGrNQxQZf0kW7oM32ia7r7a60krdHuZY93u6MVYW34YGz19r8qj3eFnZ+qf/asUMd02qvk3sOUad/C6eib+4c3qzOlieQFndI37v+Eruicb+A3vzsfVkTpCDn+AOPP5+4G66+LxlRxcmWyMDuXfcUAnmEcL/m932AWSzBR5nOPcYEv+Ko91xa1Zc3spGo9mWYUv5n27geBN6CV</latexit>

TP: 認識器が正しく検出できた回数
FP: 認識器が誤検知した回数
各ラベル，各隠れ率でテスト画像100枚

9

実験結果 | 部分的に隠された危険物サイン読み取り
上部隠れ率と認識率の関係

下部隠れ率と認識率の関係

上部・下部が30％まで隠れていても，学習後のYOLOで認識可能であるが，どちらの場合も，ある程度の隠れ率を超えると何も認識できない

10

実験結果 | 部分的に隠された危険物サイン読み取り
左部隠れ率と認識率の関係

右部隠れ率と認識率の関係

左部に関して: 隠れ率が増えていくにつて，認識率も徐々に下がる
右部に関して: 40％まで隠れていても，学習後のYOLOで認識可能

11

レバー・バルブの姿勢推定❖ 株式会社キッツから販売されている1インチモデル❖ ロボット競技会で使用されている❖ 従来研究1. カラーベースのセグメンテーションでの姿勢推定❖ カメラからの映像は光の反射や背景の色など状況で変化するため判別が困難

2. 対象物のまわりをARマーカで囲むことによる姿勢推定❖ 実現場においてARマーカで囲まれている状況はない❖ データ拡張を行ったYOLO をベースとして姿勢推定を行う❖ カメラ映像だけで推定可能: ドローンなどにも応用可能

12アプローチ | レバー・バルブの姿勢推定
Objects＋❖ データ拡張❖ レバー・バルブの写真を撮影する❖ 撮影した画像に対し，スケール変換，ノイズを付加

−
θ

13

アプローチ | レバー・バルブの姿勢推定❖ 生成した画像を14種類のラベル付けを行う
レバー・バルブの角度

ラベル-90度以上, -80度未満

Lever -90 / Valve -90-80度以上, -50度未満

Lever -60 / Valve -60-50度以上, -20度未満

Lever -30 / Valve -30-20度以上, 20度未満

Lever 0 / Valve 020度以上, 50度未満

Lever 30 / Valve 3050度以上, 80度未満

Lever 60 / Valve 60

80度以上，90度以下

Lever 90 / Valve 90❖ 各ラベルにつき，2500枚の教師データを生成し，この生成した画像に基づいてYOLOを学習させる

14

実験概要 | レバー・バルブの姿勢推定❖ データ拡張を行ったYOLOで姿勢推定できるかどうかの検証❖ テストデータ: 教師データとは別背景で撮影した画像❖ 各ラベルにつき30枚の画像を用意❖ 何も検出されなかった場合は「NONE」とカウント

15

実験結果 | レバーの姿勢推定結果

・真正面を向いている(0度の)場合，高確率で検知できる・向きが30度，-90度の場合，逆向きで検知されることが多い
・向きが90度，-60度の場合，検知できないことが多い→ 真正面を向いていない場合，全体的に検知が困難である

16

実験結果 | バルブの姿勢推定結果

・多くの場合，向きを含めて高確率で検知できる・向きが30度の場合，逆向きで検知されることが多い
・向きが-90度，-60度の場合，検知できないことが多い→ 真正面を向いていない場合，全体的に検知が困難である

17

改善に向けて❖ YOLOのみの場合，向きを区別することができない❖ YOLOとResNet(Residual Network)を組み合わせる❖ 物体検出担当: YOLO（1つ），向き区別担当: ResNet（2つ）

18

改善に向けたラベリング❖ 生成した画像に対し，以下のラベル付けを行う
物体検出担当: YOLO（1つ）

向き区別担当: ResNet（2つ）

レバー・バルブの角度

ラベル

レバーの向きラベル-20度以上, 20度未満

Lever 0 / Valve 0-90度以上, 0度以下

Left

20度以上, 50度未満-50度以上, -20度未満

Lever 30 / Valve 300度超過, 90度以下

Right50度以上, 80度未満-80度以上, -50度未満

Lever 60 / Valve 60

バルブの向きラベル

80度以上, 90度以下-90度以上, -80度未満-90度以上, 0度以下

Left

Lever 90 / Valve 900度超過, 90度以下

Right❖ 物体検出担当: YOLO（1つ），向き区別担当: ResNet（2つ）を組み合わせることでレバー・バルブの姿勢推定ができるか検証❖ 他の実験条件は前実験と同様（各ラベル: テスト画像30枚）

19

追実験結果 | レバーの姿勢推定結果

・ほとんどの場合で角度および向きを区別可能
・向きが-90度の場合，角度検知の精度が悪い→ レバーの角度検知，向きの区別を改良

20

追実験結果 | バルブの姿勢推定結果

・ほとんどの場合で角度を検知可能
・ResNetにおける向きの区別の精度が悪い→ バルブの角度検知を改良

21

おわりに
❖ データ拡張に基づいた深層学習を行い，以下の解決を目指した❖ 危険物サインの認識❖ レバーおよびバルブの姿勢推定❖ データ拡張に基づいた学習後のYOLOに関して:❖ 物体の検知ができるが，物体の姿勢推定は困難である❖ 姿勢推定を行うために，YOLOだけではく，ResNetと組み合わせることで，姿勢推定の改善につながる❖ 今後の課題❖ 実装した深層学習器を実際の災害対応ロボットの遠隔操作システムに実装し，実現場での有効性を検証

若手人材が輝く
ロボット・ICT人材育成プログラム

22

南相馬地域の若手人材育成❖ 若手人材が輝くロボット・ICT人材育成プログラム（2021年度）❖ 浜通り地域等におけるロボット・ICT人材の育成❖ プログラミングやロボット技術の基礎教育，ロボット制御などの技術習得❖ 福島大学，福島県ハイテクプラザ，南相馬市内ロボット関連企業などと連携した人材育成❖ 浜通り地域などにおけるロボット産業振興に関する取り組みの促進，支援❖ 南相馬ロボット産業協議会チームのWRS2020参加支援❖ 福島RTFを活用したロボット産業の振興

23

南相馬地域の若手人材育成❖ 人材育成目標❖ ロボット・ICT技術に関する知識を身につけ，将来的な産業発展に寄与できる若手人材❖ ロボット・ICT技術を高校生などに教育できる人材❖ スケジュール
❖ 年間10回以上開催，参加人数のべ年間100人以上❖ WRS2020初参加の南相馬チーム(MISORA)に向けた操作技術支援❖ 災害対応標準性能評価チャレンジにおいて点数の獲得を目指す24

2021年度 事業報告
❖ 成果動画: https://www.youtube.com/watch?v=fNnQYdSP724

2021年度 大学等の「復興知」を活用した人材育成基盤構築事業 事業報告
https://rtc-fukushima.jp/column/5474/

2021年度復興知事業

各種テキスト・資料

https://rtc-fukushima.jp/training/5579/

2021年8月: 会津大学，福島大学の学生への講師育成（ロボット）

2021年8月: 会津大学，福島大学の学生への講師育成（ICT）

2021年8月: Pythonプログラミング講習

2021年9月: 若手人材ロボット技術演習（シミュレータ）2021年9月: 若手人材ロボット技術演習（ロボット操作）2021年9月: 若手人材ロボット技術演習（ロボット操作）2021年9月: 若手人材ロボット技術演習（WRS2020操作練習）2021年10月: クラブ研究活動支援

2021年11月: 若手人材ロボット技術演習（ハイテクプラザ実習）

2021年12月: 若手人材ロボット技術演習（ロボット制御）

2021年12月: 若手人材ロボット技術演習（企業訪問）

25

南相馬地域の若手人材育成❖ アカ

ミア・コンソーシアムふくしま 大学間連携功労者賞 受賞

2022年2月1日

デ

❖ テクノアカデミー浜との同時受賞

World Robot Summit 2020
福島大会

26

WRS2020 福島大会
❖ 経済産業省，新エネルギー・産業技術総合開発機構（NEDO）
主催のロボット世界大会（インフラ・災害対応カテゴリー）❖ 災害対応標準性能評価チャレンジに挑戦

災害対応標準性能評価チャレンジ メンバー

27

アピールポイント❖ 屋内用小型災害対応ロボット Spider2020❖ (株)アイザックが製作・改良したクローラー型ロボット❖ 自動制御ソフトウェア開発（学生研究）❖ RGB-Dカメラがついたロボットアームの移動による物体認識，姿勢推定に基づいた物体自動把持❖ RGB-Dカメラを使用したQRコードの位置推定，画像マッチングに基づいた3次元地図自動生成❖ 目盛間隔が線形関係であることを利用した最大値が異なるアナログメータ自動読み取り28

予選結果: 2位

ロボットカメラによる遠隔操作

メーター/バルブ操作
1位

不整地でのL字障害物引き抜き
1位

ジャングルジム
2位

階段昇降
3位

広い面積の検査2位

29

大会結果: 決勝3位
❖ 日本ロボット学会 特別賞，審査員特別賞 (研究賞）同時受賞

30

大会を振り返ってみて❖ 会津大チーム: 予選全コースで得点獲得❖ ロボットハードウェア: 走破性，把持能力，堅牢（長時間）

会津大(アイザック社製 Spider2020)❖ このハードウェアを生かした，ロボットソフトウェアの開発，操作練習でのロボットオペレーション向上で好成績に繋がった