深層学習認識を内包した高速対象追跡アルゴリズム
広島大学 大学院先進理工系科学研究科
スマートイノベーションプログラム
教授 石井 抱2022年2月17日
1

トラッキング型広域監視システム
高速ビジョン = 数百コマ/秒以上の撮像・処理を行う実時間ビジョンシステム
High-speed Tracking
Optical Devices

Target高速ビジョンを用いた
広域ビデオサーベイランス

数百m先以上の遠隔人物・対象を高速ズームトラッキング認識2

従来技術とその問題点
従来技術とその問題点
実環境下でのロバストな高速対象追跡に向けて視覚フィードバックでの制御遅延を1msで実現した世界初システム

様々なCNN物体検出アルゴリズム
複雑な背景下での実対象を追跡したい(深層学習認識できる対象は全て)

1msビジュアルフィード
バックシステム (1996)
単純なアルゴリズムで動作

多くのCNNアルゴリズムは、ミリ秒オーダーの低遅延設計が考慮されていない
解決すべき問題点

処理遅延が数十～数百ミリ秒の深層学習認識がフィードバックループにあるとトラッキング制御性能が低下

長所• 追跡における頑強性が強い• 学習できる対象は自動追跡・検出可能• オートマチックな特徴量指定

短所• フレームレートが高くない (数十fps)• 処理遅延が大きい (数十～数百ms)• 認識結果がフリッキングする• 追跡精度が高くない3

新技術(深層学習認識を内包した高速対象追跡)の特徴
従来技術とその問題点
実環境下でのロバストな高速対象追跡に向けてDL遅延補償型高フレームレート対象追跡(1) フレーム補間による高フレームレート化処理

CNN+テンプレートマッチングを用いたハイブリッド型高速対象追跡アルゴリズム
GPUによる実時間実装 → 500fps動作

テンプレートマッチング(TM)による対象追跡

深層学習認識に数十フレームの出力遅延異なる画像間での対応づけ

500 fps

対象の動きが大きいと、初期ROIと対象位置に大きなずれが発生(2) プレイバック型
遅延補償処理深層学習(DL)による対象認識

DLフレーム

1枚の画像に対する認識

記録された
数十フレーム30 fps
対象の動きに伴うずれに追随した形でROI初期値を更新

現フレーム

最新DLフレームから現フレームまで一気にTM追跡
1フレーム内に数十フレーム分の追跡

4

深層学習認識を内包した高速対象追跡アルゴリズム
従来技術とその問題点
ミラー駆動型パン・チルトカメラによる高速対象追跡
実環境下でのロバストな高速対象追跡に向けて撮影風景

500fpsでの高速人物トラッキング
深層学習認識:Yolov3 @ 30 fps
テンプレートマッチング: Mosse @ 500 fps
追跡画像＋認識結果

ミラー駆動型アクティブビジョン+
高速ビジョン
frame rate: 500 [fps]shutter time: 1 [ms]resolution: 720×540 [pixel]
focal length: 25 [mm]F value: 16

DL認識されたものを追跡

5

深層学習認識を内包した高速対象追跡アルゴリズム
従来技術とその問題点
ミラー駆動型パン・チルトカメラによる高速対象追跡
実環境下でのロバストな高速対象追跡に向けて撮影風景

500fpsでの高速人物トラッキング
深層学習認識:Yolov3 @ 30 fps
テンプレートマッチング: Mosse @ 500 fps
追跡画像＋認識結果

ミラー駆動型アクティブビジョン+
高速ビジョン
frame rate: 500 [fps]shutter time: 1 [ms]resolution: 720×540 [pixel]
focal length: 25 [mm]F value: 16

DL認識されたものを追跡

6

従来技術とその問題点想定される用途
高速ビジョン = 数百コマ/秒以上の撮像・処理を行う実時間ビジョンシステム

高速ビジョンによる広域監視システム
１台の高速ビジョンが数十台のカメラの撮影領域をカバーするトラッキング/スキャン型全域監視システム↓
不審人物等の高速に動く人間等を継続的に認識・追跡
何を話している？
↓高空間解像度と高時間解像度が両立した
広域ビデオサーベイランス
怪しいものなどを持っていないか？

「時空間的に漏れのない完全監視の知能システム」に直結した位置づけ

1台の固定カメラではカバーできない広域空間
7

従来技術とその問題点
超望遠トラッキング撮影システムへの実装
ズームトラッキングシステム

100m以上離れた場所

super telephototracking system

遠距離の人物・対象に対し、表情、持ち物を鮮明に捉える
望遠ズームトラッキング撮影

8

超望遠トラッキング撮影システムへの実装
従来技術とその問題点
実環境下でのロバストな高速対象追跡に向けてミラー駆動型高速ズームトラッキング
超望遠レンズ遠距離ズームトラッキング+
高速・高精度なアクチュエータ

明るさの確保
F値:大露光時間:短×大型・高精度ミラー

微小数百m~5Hzミラー

露光時間の短い高速ビジョンにF値の大きい超望遠レンズを装着すると光量の確保が課題

遠距離人物の手先といった高速運動対象を追跡する
場合、ミラーを高速・高精度に制御する必要

大型：大口径の超望遠レンズの集光能力を生かす
高精度：数百ｍ遠方での画質を確保

高速パン・チルトミラー機構による超望遠アクティブビジョン
9

超望遠トラッキング撮影システムへの実装
従来技術とその問題点
高速パン・チルトミラー機構による超望遠アクティブビジョン
実環境下でのロバストな高速対象追跡に向けてFront View
パンDDモータ&
パンミラー

Side View

パンDDモータ&
パンミラー

B/S

撮影用カメラ&超望遠レンズ

B/S
チルトDDモータ&チルトミラー

モータ駆動部: 高出力ダイレクトドライブモータ(繰返精度: 6.30×10e-6 rad)ミラー部:
面精度λ/10ミラー(大きさ: 100x100x10 mm)

大型・高精度ミラーを用いた高速・高精度な画角制御が可能

高速ビジョン&望遠レンズ

撮影用カメラ

1/2.9型 CMOSセンサ
画素ピッチ: 3.45×3.45 μm
解像度: 1440×1080画素 @ 30 fps
焦点距離: 1600 mm / 開放F値: 11

トラッキング用
高速ビジョン

1/2.9型 CMOSセンサ
画素ピッチ: 6.9× 6.9 [μm]解像度: 720×540画素 @ 500 fps
焦点距離: 300 [mm] / 開放F値: 4

同じ視野での明るさを確保した撮影

高速パン・チルトミラー

チルトDDモータ&チルトミラー

DL遅延補償ハイブリッド型高速対象追跡アルゴリズムを500fps実装
10

超望遠トラッキング撮影システムへの実装
従来技術とその問題点
実環境下でのロバストな高速対象追跡に向けて大学キャンパスでのパノラマ画像撮影例

11

超望遠トラッキング撮影システムへの実装
従来技術とその問題点
実環境下でのロバストな高速対象追跡に向けて自動車の追跡実験の様子

撮影用カメラ (1600mmレンズ)

高速ビジョンでの追跡

キャンパス内道路を通過する自動車の自動追尾撮影

140m先からナンバープレート視認可能な画像を撮影
12

超望遠トラッキング撮影システムへの実装
従来技術とその問題点
超望遠人物トラッキングを用いたリモート顔認証
実環境下でのロバストな高速対象追跡に向けて(200m)
200m離れた場所の複数人物に対する認証

① 探索

追跡対象

② 追跡

③ 顔認証

再探索
未登録者 → 再探索
登録者 → 追跡続行

追跡続行
高速ビジョン画像において、CNNにより人物が検出されると追跡開始

撮影用カメラ画像を、顔認証クラウドに転送し、顔認証結果を取得

13

超望遠トラッキング撮影システムへの実装
従来技術とその問題点
超望遠人物トラッキングを用いたリモート顔認証
実環境下でのロバストな高速対象追跡に向けて(200m)

高速ビジョン画像＋CNN認識結果(30fps)

撮影用カメラ画像
認証成功 認証失敗

顔認証クラウド結果(1fps)

登録された
認証対象人物(NEC Neoface Cloud)キャンパス内歩行者に対するリモート自動顔認証を実現
14

従来技術とその問題点
全方位高速視線トラッキングシステムへの実装

全方位画像

3自由度ミラー駆動型
全方位高速視線トラッキングシステム
DL遅延補償ハイブリッド型
高速対象追跡アルゴリズム

ズーム撮影画像＋認識結果

10～20m先の人物に対して高解像度画像を撮影する360°人物追跡システム
15

全方位高速視線トラッキングシステムへの実装
従来技術とその問題点
3自由度ミラー駆動型トラッキングシステムの構成
実環境下でのロバストな高速対象追跡に向けて
システム外観ガルバノミラーパン・チルト2自由度-10～10deg
ミラーサイズ
パン:27×18 mm
チルト:36×27 mm

２自由度
ガルバノミラー

回転ミラー

500fps
高速カメラ

DL遅延補償ハイブリッド型
高速対象追跡アルゴリズム

GPU

回転ミラー

500fps実時間追跡

DDモータ
最高回転速度: 6000 rpm
分解能: 3.74×10-7 rad
平面ミラー
面精度: 4~6λ
50×50 mm, 60 g
16

全方位高速視線トラッキングシステムへの実装
従来技術とその問題点
実環境下でのロバストな高速対象追跡に向けてキャンパスでの全方位人物トラッキング監視

ズーム撮影画像＋認識結果
0 deg

パノラマ上の追跡画像位置

360 deg360度全方位に対し、10～20m離れた人物を自動検出・追跡17全方位高速視線トラッキングシステムへの実装
従来技術とその問題点
実環境下でのロバストな高速対象追跡に向けて
夜間での全方位人物トラッキング監視
LiDARによる夜間の全域監視

夜間対応
LiDAR+サーチライトを追加

全方位高速視線
トラッキングシステム

動態検出・三次元距離計測

AI人物検出・追跡

回転ミラー

100×100x10 mm, 220g

照明250W LED照明

回転ミラー
高速カメラ

DDモータ

平面ミラー

追跡ミラーと連動したサーチライト照射

DDモータ 最高回転速度: 3000 rpm
分解能: 3.74× 10 rad
面精度: λ/10
ミラー

LiDAR

ガルバノミラー

回転ミラー

全方位サーチライト照射

解像度 ：64×1024画素
計測距離：最長100m
回転速度：20Hz

高出力ライト

照明装置

暗闇での不審人物検出に向けた
全方位人物トラッキング監視18

全方位高速視線トラッキングシステムへの実装
従来技術とその問題点
実環境下でのロバストな高速対象追跡に向けて
夜間での全方位人物トラッキング監視
ズーム撮影画像＋認識結果

撮影風景サーチライト色
黄: 人物未検出時
白: 人物追跡時

LiDAR三次元画像
0 deg

180 deg

対象検出・距離

LiDAR・サーチライトと連動による夜間での人物トラッキング撮影・認識を実現

19

従来技術とその問題点実用化に向けた課題/ 企業への期待実用化に向けた課題• 任意のAI認識アルゴリズムを低遅延化するライブラリ群構築• パン・チルト視線装置を含めたシステムの小型モバイル化• 複数カメラを用いた高速三次元トラッキング技術の確立

企業への期待• 遠隔リモート監視技術を持つ企業との共同研究を希望• セキュリティ分野だけではなく、ものづくり、農業、インフラ管理など点検エキスパートの人材不足に悩む業界との連携を希望• ズーム撮影機能が進化しているモバイル機器での超望遠トラッキング撮影の実現を考えている企業には、本技術の導入が有効
20従来技術とその問題点
産官学連携に向けた取組み
広島大+
広島県

高速ビジョンを用いた広域ビデオサーベイランス

産官学連携

トラッキング型広域監視システム•

深層学習認識を内包した
高速対象追跡アルゴリズム•

超望遠トラッキング撮影システム•全方位高速視線トラッキングシステム

本格的社会実装に向けたPOC(概念立証)試験

広島大学

広島大 デジタルものづくり教育研究センター
高速ビジョンにより実現される「振動見える化」や「広範囲同時見える化」を行うスマート検査・モニタリング
共創コンソーシアム 19団体, 共同研究実施 6件 (2020)

スマートシティ、スマートキャンパス
Society 5.0

深層学習認識と遅延のない
高速トラッキングの両立
本発表で紹介した新技術

産官学連携

広島大+
東広島市+

アリゾナ州立大

カーボンニュートラル×スマートキャンパス5.0宣言 (21/1/26)

広島大 Town & Gown構想
21

従来技術とその問題点
本技術に関する知的財産権/ 問合せ先• 発明の名称：対象追跡方法、対象追跡システムおよび対象追跡プログラム• 出願番号 ：特願2018-196575, PCT/JP2019/041143• 出願人：国立研究開発法人科学技術振興機構• 発明者：石井 抱、岸 則政、姜 明俊
問合せ先国立研究開発法人科学技術振興機構
知的財産マネジメント推進部 知財集約・活用グループ
ＴＥＬ ０３－５２１４－８４８６e-mail license@jst.go.jp
22