2017/12/18 第5回 WINDSネットワーク セミナー

本印刷用資料には、以下の内容は含まれておりません。
• 12月14日以降のニュースリリースに関する情報• セミナー当日のライブの技術デモに関する情報
セミナー当日のスライドは、セミナー終了後に公開します。

高速ビジョン開発プラットフォーム「HSV SDK」の誕生
株式会社エクスビジョン
取締役 加治佐 俊一
http://www.exvision.co.jp
この成果は国立研究開発法人 新エネルギー・産業技術総合開発機構（NEDO）の委託業務の結果得られたものです本日の内容• 会社紹介• HSV SDK の発表と概要• 技術紹介デモ• 技術概要• 今後の展開• Q&ACopyright© 2009-2017 Exvision Corporation2

高速ビジョンが実現する新たな世界/価値
空間分解能の向上から時間分解能の向上へのシフト
空間分
解能の向上

時間分解能の向上
 高速事象の検出、検知、追跡が可能に
 人間の目視から自動検査、制御へ

誕生
時間分解能の向上

FA高速検査高速ロボット自動車-交通セキュリティ

バイオ・医療高速３D計測映像メディア

ヒューマンインターフェイス

様々な応用展開

Copyright© 2009-2017 Exvision Corporation3高速画像処理と高速ビジョン• エクスビジョンは、高速ビジョンによる事業を展開します• 高速ビジョンシステムのプラットフォームとソリューションを構築します
高速ビジョン• 処理系、運動系、出力系の組合せ• システムとしての機能

高速画像処理• 高速な撮像• 高速な画像処理

Copyright© 2009-2017 Exvision Corporation4

高速ビジョンによる事業展開
EGS Touch

EGS Motion

EGS: Exvision Gesture System

Auto Pan-Tilt

Active Projection Mapping

Copyright© 2009-2017 Exvision Corporation

3D Measurement5

ソニーセミコンダクタソリューションズ株式会社

高速ビジョンセンサー「IMX382」• 毎秒1,000フレームで対象物の検出と追跡を実現する高速ビジョンセンサー• 高速撮像と高速センシングを融合した積層型CMOSイメージセンサー
有効画素数1304（H）×976（V） 127万画素

イメージサイズ

Diagonal 5.68mm（Type 1/3.2）

ユニットセルサイズ

3.5μm（H）×3.5μm（V）
ビューイング

60fps
120fpsQuad-VGA（1280×960） 12bit
Quad-VGA（1280×960） 10bit

センシング

500fps
1000fpsQuad-VGA（1280×960） 4bit
640×470 4bit

フレームレート

電源電圧2.9V / 1.8V / 3.3V / 1.1V

画像フォーマット

Bayer RAW / 白黒

出力MIPI （CSI2） D-PHY 864Mbps/lane

2017/5/16発表 ソニーセミコンダクタソリューションズ株式会社 ニュースリリースより抜粋:
https://www.sony.co.jp/SonyInfo/News/Press/201705/17-051/index.html
Copyright© 2009-2017 Exvision Corporation

6

HSV SDK のアーキテクチャ
高速ビジョン 開発プラットフォーム• IMX382 の 1000fps での高速センシングによる特徴量の取得と処理• リアルタイム性と汎用性を両立した開発プラットフォーム• Host System を必要としない Camera Unit 単独でスタンドアローンの構成が可能• 標準的な開発環境による短期間で容易なソリューション開発と展開
Actuator制御などのリアルタイム処理

ソリューション

モニタリングから分析までの汎用処理
Host System

Camera Unit

Host AppCU App

プラットフォーム

RTOS
Vision Sensor Driver

IMX382
Vision Sensor

Camera Lib.

CU Middle

Vision Sensor (IMX382)

OS/OSS Lib.
GPOS

I/O Drivers

CU DriverFilter Programs

SoC, FPGA, Memory, I/O

Copyright© 2009-2017 Exvision Corporation

I/O Drivers

CPU, GPU,Memory, Storage,
I/O, .etc.

9HSV SDK の基本構成
ソフトウェア• Camera Unit

ハードウェア (評価ボード)• Camera Unit (CU)••••

Vision Sensor Board•

IMX382•

IMX382 Vision Sensorを搭載したセンサーボードレンズは CS マウント

• Host System

Vision Sensor

Core Board••

Cyclone V FPGA・SoC, DRAMなどを搭載した中心的ボード
microSD カードからブートStandard I/F Board
メカの裏面に三脚用マウントを装備••

CU Apps
CU Middle
Real-time OS
Device Drivers

Host接続用に、USB3.0 と GbE
外部機器制御用に、 GPIO(24本)

Copyright© 2009-2017 Exvision Corporation• Host Apps
• Camera Library• General Purpose OS• Windows (標準対応)• Linux (カスタマイズ対応可能)••••

Device DriverTools
Sample Programs (Host Apps, CU Apps)
開発ツール (Visual Studio, GNU Tools, ..)10

ソフトウェアの構成

クロス開発(GNU Tools)

モジュール化と標準的な開発環境

セルフ開発(Visual Studio)

CU (Camera Unit)

Host System

CU App• リアルタイム制御を行うアプリ

Host App• 汎用アプリCU API

Visual Tool
Cmd. Line Tool
Test Viewer
Irg Editor

Camera Library API• CU App• Host App

開発環境• Visual Studio• GNU Tools(GNU ARM
EmbeddedToolchain, .etc.)

OS & OSS API
OS Standard Libraries
OSS Libraries

Camera Library
OS Adaptation Layer

RTOS (Real-time Operating System)• eT-Kernel Standard SMP

IMX382
Vision Sensor••••

Samples
Programs• Terminal

CU Middle• ビジョンセンサーの制御• 高速データ処理と転送• 高速イベント処理

Vision Sensor DriverTools

I/O Drivers for Host andPeripherals

GPOS (General Purpose Operating System)• Windows 7, 8.1, 10 (32&64bit)
CU Interface Drivers

注: モジュールの種類を色で分類➡
Copyright© 2009-2017 Exvision Corporation

General and Misc. I/O Drivers
SDKで開発するアプリ

SDKに含まれるモジュール

開発者が用意するモジュール11センシングモード

センシング情報と画像データの流れ• 検出状態• 重心 (x, y)、面積(pixels)、など• 画像データ (Image)• 4-bit と 1-bit画像• CU App• 全ての SI と Imageを処理可能• Host にカスタマイズした情報を通知可能• Host App

Host System

Camera Unit

• センシング情報 (SI)• SI と Image をそれぞれ間引き転送可能• 条件指定でリングバッファに蓄積されたSI と Image を転送可能

CU AppEvent Handler

MiddleRTOS
DriverRing
Buffer (*)

Host AppCallback Routine

Camera Lib.
OS
DriverVision Sensor (IMX382)

Image, SIの流れ

イベントやコールバック(*)1000fpsの場合、最新の約5.9秒、5,946フレームを蓄積可能

Copyright© 2009-2017 Exvision Corporation12

技術紹介デモ

Copyright© 2009-2017 Exvision Corporation13

2017/3/21 WINDSネットワーク設立１周年記念総会・セミナー

前回の技術紹介デモ
Detect & Catch (BB弾とピンポン玉)

Stereo Vision (平行ステレオ)

Pattern Tracking

PC

CU1

CU2

ビデオ: https://youtu.be/pytrfJ8RQuw
Copyright© 2009-2017 Exvision Corporation14

前回技術紹介デモの構成
CUとHostのアプリを目的に合わせて開発するデモ

CU AppDetect &Catch••••

Host App

Host Appからの検出やモーターの回転数などの制御パラメータを設定。
1msごとにセンシング情報からリアルタイムにボールを検出。
検出されたボールの色を判別し、LED点灯とモーター回転制御。
検出されたボールの情報をHost Appに通知。

•••

その他

CU-Appのロードと内部パラメータの表示、設定。
検出、トラッキング中のカメラ映像の表示、検出前後のカメラ画像データの保存と再生。
CU Appから通知される検出情報による速度などの表示。

StereoVision• 無し• CU1とCU2からの各2次元座標を3次元に変換• Unityのプログラムに3次元座標を送る

PatternTracking• 無し• Toolに含まれているViewerが、CUからのImageとセンシング情報を受信し、Imageと座標の表示• Vision Sensorで、FilterProgram を動作

Host System

Camera Unit

Host AppCU App

Camera Lib.

CU Middle
RTOS

OS/OSS Lib.

GPOS

Vision Sensor Driver

I/O Drivers

Vision Sensor (IMX382)

Filter Programs

SoC, FPGA, Memory, I/O

CU DriverI/O Drivers

CPU, GPU,Memory, Storage,I/O, .etc.

Copyright© 2009-2017 Exvision Corporation

15

技術紹介デモセンサーのモード、フレームレート、画像フォーマット

アプリ及び補足

ビューイング モード、120fps、白黒

Host App

センシング モード、1000fps、白黒

Host App

センシング モード、1000fps、白黒

CU App, Standalone (No Host)

センシング モード、1000fps、Bayer (カラー)Visual Tool, CU x 3

今回のデモのテーマ – 基本的なモードを試してみよう#include <stdio.h>main(){printf(“hello, HSV world¥n”);}

身近な道具を使って、技術紹介のデモを行います

Copyright© 2009-2017 Exvision Corporation16

技術概要

Copyright© 2009-2017 Exvision Corporation

22

ソフトウェア環境• CU• リアルタイム制御用OSとして eT-Kernel Standard SMP• Intel Cyclone V• Dual Core ARM Cortex-A9 MPCore /925MHz• GPIO の出力をプログラマブルに変更可能• microSDカード/USB3.0/GbE から CU App は ロード・実行可能• Host との接続

• 高速に画像データとセンシング情報を転送したい場合には、USB3.0で接続• センシング情報を主体に転送を行う場合は、GbEで接続• Host• Windows7/8.1/10 (32bit 及び 64bit)• Visual Studio2015/2013にて開発
Copyright© 2009-2017 Exvision Corporation23

CU App と Host Appの特徴
アプリ

リアルタイム性

制御インターフェイス

開発言語

画像処理

CU App

◎

GPIO

C言語

△

Host App△

USB/Ethernet/他

C言語および、各種言語 ※1

OpenCV等※1：Camera Libraryをロードし、各種APIを実行可能• CU App••••GPIOを経由しての Actuator制御などのリアルタイム処理
Vision Sensor からの全てのフレームのセンシング情報と画像データを、間引くことなく処理することが可能
DRAMのリングバッファに格納された過去のセンシング情報と画像データを、直接参照することが可能
ホストにセンシング情報や画像データを伴ったアプリ独自の通知を行うことが可能• Host App• モニタリングから分析までの汎用処理• Vision Sensorからのフレームのセンシング情報と画像データを、それぞれ間引き指定して受信することが可能• 例: Vision Sensor 1000fpsに設定し、Host転送でのセンシング情報は1000fps, 画像データは30fps• CUのリングバッファに格納された過去のセンシング情報と画像データを転送することが可能

Copyright© 2009-2017 Exvision Corporation

24

CU App 開発
開発環境• GNU ARM Embedded Toolchain：5-2016-q3-update
https://launchpad.net/gcc-arm-embedded• GNU on Windows：0.8.0

https://github.com/bmatzelle/gow/releases

CU API• センサーボードへのアクセス• GPIOアクセス• 同期/イベント/メッセージ• スレッド
• ハンドラーの登録・解除• ログサービス
Copyright© 2009-2017 Exvision Corporation

25

Host App 開発
開発環境• Windows7/8.1/10• Visual Studio 2015/2013

Camera Library API• カメラユニットの初期化、および各種設定• センサーレジスターへの読み書き• 画像データ・SI情報の転送、取得、および保存• CU Appのロード・アンロード• 排他制御（複数アプリでの使用）
Copyright© 2009-2017 Exvision Corporation26

一般的な開発のステップ• ターゲットの検出、追跡の為の環境の設定と確認• 設置環境、光学的環境(フリッカー軽減、赤外線照射)などを工夫する• Visual Tool と IrgEditor を使い、Vision Sensor の設定を調整し、ターゲットを検出・追跡し、適切に SI と Image が取得できることを確認する• 1-bit/4-bit 画像データを処理する場合には、目視に加えてデータを保存して解析することで処理可能かを検討する• 解像度を優先した500fpsと、高速性を優先した1000fpsの両方で評価・検討する• アプリ開発• 目的とするソリューションを、Host Appとして開発する• Host Appで、目的とするリアルタイム性が十分に達成できない場合には、リアルタイム性が必要なコンポーネントをCU Appとして開発し、Host AppからCU AppをCUにロードして、実行する• HostでのGUIやデータ処理が不要な場合には、CU スタンドアローンとして実行する
Copyright© 2009-2017 Exvision Corporation

27

今後の展開Copyright© 2009-2017 Exvision Corporation

28

高速ビジョン ソリューションの普及に向けて優れた研究成果を実ソリューションに広げる
優れた研究成果@東京大学 石川渡辺研究室など

目標• 低価格化と小型化• システム構成の簡素化• 標準化されたソリューション
• 開発期間の短縮化• 分野毎に最適な応用展開

解決策• 高速ビジョンセンサー (IMX382)• 開発プラットフォーム (HSV SDK)
• 業界連携 (WINDSネットワーク)
普及に向けての課題• 高性能のCPU&GPUが必要• 目的毎の作りこみが必要• 設計・開発の知識・ノウハウが不足• 高速ビジョンの役立つ分野が不明
Copyright© 2009-2017 Exvision Corporation29

カメラ製品や組込みシステムへの展開
様々なシステム構成に対応可能な基本設計と技術力
標準構成

Host System

Camera Unit

Host AppCU App

Camera Lib.

CU Middle
RTOS

OS/OSS Lib.

GPOS

Vision Sensor Driver

I/O Drivers

Vision Sensor (IMX382)

Filter Programs

SoC, FPGA, Memory, I/O

CU DriverI/O Drivers

CPU, GPU,Memory, Storage,
I/O, .etc.

実システムでの構成
CU Components

Options

Host Components

Options

SoC

ARM, .etc. Single, dual, …

OS

Windows Client/Embedded, Linux, others.

FPGA

None, Small, Medium, Large

CPU

OS

Bare-Metal, RTOS (, or GPOS)

ARM, x86, and x64
Single, dual, quad, many core.

CU AppYes / NoGPU

Integrated or external

Host Connection

None, USB, GbE, EtherCAT, .etc.

Network and CloudYes / No

Actuator I/F

GPIO, SPI, I2C, .etc.

# CU connection

Single, Dual, or many

Exvision Confidential

30

今後の予定と展開
様々なソリューション展開• カメラ製品ラインアップの広がり
2018年1月 一般リリース開始

カメラ製品出荷• 実ソリューション開発

HSV SDK 提供開始
• 開発用プラットフォームの提供• 高速ビジョン技術の評価• 試験運用と本運用• 導入事例の共有• 組込み製品への対応• 分野別標準ソリューションライブラリ• 他のプラットフォームとの連携• 技術ノウハウの共有 (と保護)• HSV SDKの継続的な機能拡張• ソリューションのプロト開発と検証

Copyright© 2009-2017 Exvision Corporation

31

高速ビジョン ソリューション展開の可能性

撮像と同時に特徴量を抽出し、予測動作不要で高速、正確な制御が可能• FA・検査• 高速 3D 入力• 高速 3D 形状計測
• 高速 3D 座標計測

• 高速インサーター• 高速計測・計量装置• 社会インフラ (トンネル、鉄道など) の傷や障害物の検知• 高速ロボット• 高速ロボットハンド• ヒューマンインターフェイス• VR/ARのHMDでの高速ジェスチャーや遠隔マウス・タッチ• デジタルサイネージでの活用• バイオ・医療• 自動車・交通• 振動検出・補正の次世代 HUD (Head-up Display)• マーカー検出によるDrone 制御• セキュリティ• 微生物の検知追跡• 医療検査装置での応用• 映像・メディア• スポーツ中継や練習での応用• 顔の検出・追跡による高精細画像撮影• 高速移動物 (人や物) の自動検出、記録、通報• 動的なプロジェクションマッピング• 新規 IoT関連分野• 様々なセンサーや小型プロセッサの組み合わせによるインテリジェント IoTの開発とクラウドとの連携

Copyright© 2009-2017 Exvision Corporation

32

QA• 会社紹介• HSV SDK の発表と概要• 技術紹介デモ• 技術概要• 今後の展開

Copyright© 2009-2017 Exvision Corporation33

お問い合わせ窓口:• hsvsdkreq@exvision.co.jp - HSV SDK および 高速ビジョンのソリューションについてのご相談• contact@exvision.co.jp - それ以外のご相談やお問い合わせ高速ビジョンによる事業展開
名前最小受注量

納期

製品・ソリューション概要

EGS Touch

100 -6ヵ月(*)

リモート 2点タッチ。 人の両手の動きを座標で認識し、低遅延の2点タッチデバイス。Windows と Androidに対応。
ハードウェア・ソリューション。ライセンス提供可能。

EGS Motion

10 -2ヵ月(*)

リモート・ジェスチャー・コマンド。一連の動きを認識して、コマンドに変換をしてコンピューターに入力。(例：円の右回りでの描画ジェスチャー → 音量アップ) ハードウェアとソフトウェアの両方のソリューションが可能。ライセンス提供可能。

Auto Pan-Tilt

1-応相談

高速移動する物体を1000fpsの高速ビジョンによるミラー制御技術で、静止状態で見ることが可能。最大3台を接続し、3次元の軌跡を計測可能。

Active Projection
Mapping1-

応相談

動く対象をトラッキングして、その上にアニメーションをシナリオに応じて動的にプロジェクション。お客様のシナリオにより、プログラミング可能。一つのシステムで、複数の対象に対応可能。イベントやショールームでの活用。

3D Measurement

1-

応相談

高速構造照明による高速3次元形状計測。対象物に対し、測定用のパターン画像を対象物に対して高速に投影し、高速に撮影・処理することで、高速移動対象物をリアルタイムに3次元形状計測。

HSV SDK1-

2018/1-

高速ビジョンセンサーを使った評価ボードが含まれるソフトウェア開発キット。様々な高速ビジョンソリューションを簡単に短期間で開発可能な開発プラットフォーム。

HSV Solutions

1-

応相談

お客様の要望に応じた 高速ビジョンソリューションの開発。要求仕様によりHSV SDKを適用可能か検討。HSV SDKを使わない開発も可能。

(*) 時期により数量の調整や納期の短縮が可能になる場合があります。ご相談ください。

Copyright© 2009-2017 Exvision Corporation35