物体検出AIと地図上でのマッピング

五大開発株式会社 荒木光一

自 己 紹 介
 名古屋生まれ，春日井育ち
 五大開発株式会社
 石川県金沢市
 システム技術部 技術研究所 主任研究員

 博士（情報科学）
FOSS4G Tokai 2019で撮影

2021年8月28日

 GPUや分散処理によるプログラムの高速化の研究
 土木分野におけるディープラーニングの応用研究

FOSS4G TOKAI 2021

2

本日のお話の概要
 物体検出AIで，ドラレコの動画から屋外広告物（自立広告）を検出して，その位置を地図上にマッピング
ドラレコの動画
自立広告の検出結果

物体検出AI
2021年8月28日

検出された箇所にマッピング
FOSS4G TOKAI 2021

3

目 次
1. 今回のお話の背景
2. 自立広告を検出する物体検出AIについて

3. 物体検出AIによる検出結果のマッピング

2021年8月28日

FOSS4G TOKAI 20214

背景（１）
 屋外広告物とは？
 常時又は一定の期間継続して，屋外で，公衆に表示されるものであって看板、立看板、はり紙及びはり札並びに広告塔、広告板、建物その他の工作物等に掲出され、又は表示されたもの並びにこれらに類するものをいう （出典：[1]）屋外広告物の形態（出典：[2]）[1] 国土交通省，“屋外広告物制度の概要”，https://www.mlit.go.jp/toshi/townscape/toshi_townscape_tk_000023.html[2] 石川県土木部景観形成推進室，“屋外広告物の手引”，https://www.pref.ishikawa.lg.jp/toshi/shinsei/documents/hptebiki.pdf

2021年8月28日

FOSS4G TOKAI 20215

背景（２）
 屋外広告物を設置するには，自治体への申請が必要
 自治体は屋外広告物を把握する必要がある どこにどの形態の屋外広告物が設置されている？
 設置許可の期間が経過していない？
 申請済み？

許可期間と申請手数料の例（出典：[3]）[3] 札幌市建設局総務部道路管理課，“札幌市屋外広告物条例の手引”，https://www.city.sapporo.jp/kensetsu/dokan/kokoku/documents/tebiki5.pdf

2021年8月28日

FOSS4G TOKAI 2021

6

DXやICTなどが叫ばれる時代，屋外広告物の把握をなんとかできないものか．．．

2021年8月28日

FOSS4G TOKAI 2021

7

！！！ そうだ ！！！
道路パトロール時にドラレコで撮影した動画から，屋外広告物を把握できれば！！！

2021年8月28日

FOSS4G TOKAI 20218

問題と条件の整理
 撮影時の天候
 雨天だとフロントガラスに雨粒が付着して，検出できるか不明
 晴天時に限定

 屋外広告物の形態は様々
 壁面広告，突出広告や旗広告など
 自立広告に限定 様々なデザイン
 デザインが統一されている案内標識・道路標識とは異なり，自立広告のデザインは多種多少
2021年8月28日

FOSS4G TOKAI 2021

9目 次
1.

今回のお話の背景

2. 自立広告を検出する物体検出AIについて

3.
2021年8月28日

物体検出AIによる検出結果のマッピング
FOSS4G TOKAI 2021

10

教師データ作成（１） ドラレコによる撮影
 国道305号（小松市）の約6km区間
 晴天時の日中に撮影
 撮影時にGPSで緯度経度を記録

 静止画
 OpenCVで1秒あたり約3枚の静止画を取得
 撮影車が停止している時の静止画は手動で削除
 872枚の静止画を取得
2021年8月28日

FOSS4G TOKAI 202111

物体検出AIの教師データ作成（２） アノテーション付け（正解データ作成）
 VoTT[4]で，静止画（872枚）内の自立広告を囲む[4] Microsoft, VoTT (Visual Object Tagging Tool), https://github.com/microsoft/VoTT

2021年8月28日

FOSS4G TOKAI 2021

12

自立広告を検出するための学習 自立広告の検出にはYOLO v3[4]を利用

 872枚の静止画で，GPUによる学習時間は3～4時間

OS
CPU
メモリ容量
GPU
GPUのメモリ容量

Ubuntu 16.04.6
Intel(R) Core i7-6700K （4.00GHz）
32GB
NVIDIA Geforce TITAN RTX
24GB[4] Redmon, J., Divvala, S., Girshick, R., Farhadi, A., "You Only Look Once: Unified, Real-Time Object Detection", In CVPR, 20162021年8月28日

FOSS4G TOKAI 2021

13

評価結果
路線
県道54号
国道360号
県道25号
小松駅周辺

静止画数
自立広告数 検出成功数 検出失敗数
3,128
124
100
247,310211
181
302,2715846121,223
40319

誤検出数
197547149107

 誤検出した例
 道路標識・案内標識
 電柱 信号機
 などなど2021年8月28日

FOSS4G TOKAI 2021

14

目 次
1.

今回のお話の背景

2.

自立広告を検出する物体検出AIについて

3. 物体検出AIによる検出結果のマッピング

2021年8月28日

FOSS4G TOKAI 2021

15

検出結果をマッピングのはずが．．．
まさかの，静止画にGPS情報がない．．．．

2021年8月28日

FOSS4G TOKAI 2021

16

位置情報紛失の原因と対応
 OpenCVによる動画からの静止画作成
で位置情報（緯度経度）が失われた
 静止画の右下に記載されている緯度経度を画像処理（テンプレートマッチング）で取得

2021年8月28日

FOSS4G TOKAI 2021

17

テンプレートマッチングによる緯度経度の取得
1. 数字を切り出し，色変換してテンプレート画像を作成
・・・・

2. 静止画から緯度経度の部分を切り取り，色変換・・・・

3. OpenCVのテンプレートマッチング

2021年8月28日

FOSS4G TOKAI 2021

18

QGISでマッピング

赤点：自立広告として検出された静止画の位置

自立広告として検出されたプロットが妙に多い．．．
2021年8月28日

FOSS4G TOKAI 2021

19

静止画のプロットが多い原因
 同一の自立広告が連続的に検出されていた2021年8月28日

FOSS4G TOKAI 2021

20

まとめ
 物体検出AIで自立広告を検出して，QGISでマッピングした事例を紹介
 検出に失敗した自立広告は，教師データの増加で対応できるかも 誤検出した物体もアノテーションすることで，誤検出数を削減できるかも 緯度経度を含めるように静止画を作成

 同一の自立広告の検出は課題
 画角は異なるが，検出矩形内は似た絵面
 連続的する静止画で検出

2021年8月28日

FOSS4G TOKAI 2021

機械学習や統計などで解決できるかも21

ご清聴ありがとうございました

マッピングというよりAIや画像処理の話が主となりすいません．．．．