AIカメラで危険を察知!

インテリジェント・単眼カメラ

株式会社コア
八尋崇泰

１．AIカメラについて

2

１．AIカメラについて
 一般的に、距離が測れる装置は・・・
ステレオカメラ

ToFカメラ

視差画像から画像内の距離を測定

光の到達速度で距離を測る

LRF

赤外線カメラ

１層レーザーで物体までの距離を測定
LiDAR

赤外線を照射して距離を測る
ミリ波レーダー

複層レーザーで物体までの距離を測定© CORE CORPORATION

ミリ波を照射して距離を測る
3

１．AIカメラについて
 単眼カメラで距離が分かる仕組み・・・

画角と解像度から距離マップを作成
20m
10m
5m
2m

1m

0m

距離が分かる!

スクリーン
カメラ角度

画像中心

画像中心位置カメラ高さ© CORE CORPORATION

4

１．AIカメラについて
 カメラからの距離が分かれば・・・

カメラ座標と方角をインプットすることで検出物体の緯度・経度が分かる。

地図にマッピングできる!

・カメラ座標・方角

室内でも計測可能!

© CORE CORPORATION

5

１．AIカメラについて
 インテリジェント・単眼カメラとは・・・
単眼カメラによるインテリジェント・単眼カメラ

物体距離計算OpenVinoによるCPU高速演算

AIエンジン:
小型化、省電力、GPU/FPGA未使用

ROS2メッセージOS:

ディープラーニング

IoTカメラによる物体認識

物体

物体認識モデル:SSD MobileNet
物体マップ

グローバル座標へ
マッピング
特許出願中
© CORE CORPORATION

6

１．AIカメラについて
 物体を検出して距離を求める

単眼カメラだけで実現！
物体検出

物体サイズ検出
物体距離検出
物体速度検出© CORE CORPORATION

特許出願中
7

１．AIカメラについて
 検出した物体を地図に表示

地図に物体を表示！

グローバル座標変換

ROSメッセージ通信
物体位置検出
地図マッピング

特許出願中© CORE CORPORATION

8

１．AIカメラについて
 簡単なカメラセッティング
設置後のセッティングは人が歩くだけ！

カメラを設置して人が歩くと・・・
距離マップとカメラの姿勢が求まる
カメラ高さ：2.56m
カメラ傾き：14.7°

特許出願中© CORE CORPORATION

9

１．AIカメラについて
 物体検出から表示までの流れ
インテリジェント・単眼カメラ

表示PC

センサー情報・緯度： 34.7053232
・経度：135.4946746
・方角：90度

ROSメッセージ通信
センサー情報
物体情報
ROI

センサー情報
物体情報
ROI

撮影

グローバル座標変換

データ統合処理

物体検出

物体距離検出

地図マッピング© CORE CORPORATION

10

２．AIカメラ発明のきっかけ

11

２．AIカメラ発明のきっかけ
 発明の元になったシステムは・・・ システムが大きくて移動が困難 ステレオカメラでの認識では物体の判別が難しい
 消費電力が大きくてバッテリーが持たない 設置後の位置合わせなどの設定が大変

課題解決のために、色々な方法を試す!

© CORE CORPORATION

1212

２．AIカメラ発明のきっかけ
 システムが大きくて移動が困難・・・
システムの小型化を追い求めた結果、かなりの 小型化 に成功!
大きすぎる

若干小型化

改善前

移動可能

改善後

© CORE CORPORATION

13

２．AIカメラ発明のきっかけ
 ステレオカメラでの認識では物体の判別が難しい・・・
カメラ画像から物体認識し、単眼カメラで距離計算 する方法を発明!

改善前

ステレオカメラ改善後・ディープラーニングで物体認識
・対象物を特定・距離計算
・効率よく位置推定が可能

目的外のゴミを取り除くことが難しい© CORE CORPORATION

14

２．AIカメラ発明のきっかけ
 消費電力が大きくてバッテリーが持たない・・・
最小限のパワーでディープラーニング できる組み合わせをチョイス!

・ゲーミングPC
・GPU:Nvidia1080Ti
・消費電力:300w

精度十分、電力大精度が落ちて不安定

精度は低いが安定

・高性能小型PC・GPU:Nvidia1060
・消費電力:100w

・RaspberryPi
・VPU:Movidius
・消費電力:10w

・超小型PC・GPU:なし
・消費電力:20w

AIによる物体認識
modelmAPFPS

FastR-CNN70

0.5

SSD(300)

74.3

46

SSD(512)

76.8

19

YOLO

63.4

45

YOLOv2(416)76.8

67

MobileNet SSDの採用
VPU(Mobidius)の採用© CORE CORPORATIONの採用
小型化、省電力、
GPU/FPGA未使用
中間表現(IR)で高速化

15

２．AIカメラ発明のきっかけ
 消費電力が大きくてバッテリーが持たない・・・
色々なボードとAIモデルの組み合わせで 小型性能 を比較
H/W

CPU/GPU/VPU

考察

ゲーミングPC

i7-8700
Nvidia1080Ti

小型性能×

高性能小型PC

i7-7700
Nvidia1060

YOLOv3で120FPS、消費電力300W⇒大きすぎ
YOLOv3で60FPS、消費電力
100W⇒200Whバッテリーで2-3時間×Jetson TX2

ARM A57
256基CUDA コア

YOLOv3で1FPS程度、SSDで5FPS程度、7.5W⇒予想外に遅い、環境が複雑△

RaspberryPi3B+

ARM Cortex-A53
VPU:Movidius

YOLOv3で1FPS程度、SSDで5FPS程度、10W、5V入力なのでバッテリー利用可〇

LattePanda

Intel Atom X5Z8300

RaspberryPi3Bと同程度だが、環境構築など
×△Intel Compute
StickIntel Core m36Y30

OpenVino＋MobileNet SSDで10FPS
15W程度、5V入力〇◎© CORE CORPORATION

16

２．AIカメラ発明のきっかけ
 設置後の位置合わせなどの設定が大変・・・
カメラ設置後、簡単にキャリブレーション する手法を発明!

改善前

改善後

LiDAR

カメラ

物体検出位置とレーザー測定位置を地図上で合わせこんでカメラの位置と姿勢を設定© CORE CORPORATION

人が歩いた検出結果からカメラの高さ・姿勢を計算
17

３．AIカメラで危険を察知!

18

３．AIカメラで危険を察知!
 交通インフラでの危険

高速道路での逆走や人の侵入検知

見通しの悪い交差点での衝突回避

一方通行路への侵入検知

駐車場内での衝突回避

線路や踏切内への侵入検知© CORE CORPORATION

19

３．AIカメラで危険を察知!
 色々な領域での危険落下物の監視

危険区域の監視

工事現場
高速道路

変電所や鉄塔© CORE CORPORATION

20

３．AIカメラで危険を察知!
 室内での危険室内での計測ができるので・・・

工場内での人や機械の監視
車いすなどへの位置サポート
目が不自由な方への位置サポート© CORE CORPORATION

21

３．AIカメラで危険を察知!
 ダイナミックマップへの応用

応用可能な領域

渋滞情報

組付け基盤

官民ITS構想・ロードマップにおけるダイナミックマップについて「道路及びその周辺に係る自車両の位置が車線レベルで特定できる高精度三次元地理空間情報及び、その上に自動走行などをサポートするために必要な各種の付加的地図情報を載せたもの」と定義

工事情報

道路情報
© CORE CORPORATION22🏢 〒154-8552 東京都世田谷区三軒茶屋1-22-3 コアビル
📞03-5712-3706✉ yahiro@core.co.jp

🌏 www.core.co.jp