2020 国際画像セミナー

最新技術による高画素・高速インターフェースカメラの提案

東芝テリー株式会社
映像コンポーネント開発部
2020.12.03© 2020 Toshiba Teli Corporation

Contents

01 高画素カメラへの要求と課題
02 テリーカメラによる課題解決
03 テリーソフトウェアによる課題解決
04 まとめ© 2020 Toshiba Teli Corporation2

01

高画素カメラへの要求と課題© 2020 Toshiba Teli Corporation

3高画素化するFAカメラ

1.3M

2M

0.8M

4M
12M

0.3M
?

FAカメラの高画素カメラが進む© 2020 Toshiba Teli Corporation4

FAカメラの画素数トレンド

FAエリアセンサカメラの画素数トレンドは/
2018年実績
7.5%

2022年予想

6M以上

10.4%

34.0%

21.7%

0.3M以下
26.7%

3M～5M

36.8%

30.5%

1.3M～2M
32.4%※富士経済 『2019 画像処理システム市場の現状と将来展望』より高画素カメラの要求は高まっている© 2020 Toshiba Teli Corporation5

高画素カメラのメリット-1

大きいワークを検査する例

複数のカメラを1台に集約© 2020 Toshiba Teli Corporation

6高画素カメラのメリット-2

複数のエリアを検査する例

カメラを定点化可能© 2020 Toshiba Teli Corporation

7

FAカメラを高画素化する場合

FAカメラの高画素化はメリットが大きいが…

カメラを高画素化するだけでそのメリットを享受できるのか?
© 2020 Toshiba Teli Corporation

8高画素化による影響

1画素当たりのデータレートが同じ場合
フレームレート

600 fps
500 fps

BU040M

400 fps
300 fps
200 fps
100 fps

BU160M
BU205M
BU238M
BU302M
BU406M

BU1207M

BU505M
2M

4M

6M

8M

10 M

12 M

14 M

画素数

画素数とフレームレートの両立にはデータレートが必要© 2020 Toshiba Teli Corporation

9データレートへの要求

データレートを向上させるためには?

アプリケーション
PC内部バックプレーンインターフェイス

センサ速度© 2020 Toshiba Teli Corporation

10データレートへの要求 - センサ速度Sony

2nd Generation
3rd Generation

ams
ONSemiconductor

Teledyne e2v

Gpixel

4th Generation

CMV series
PYTHON series
XGS series
Sapphire series
Emerald series
GMAX series

最新センサではボトルネックになり難い© 2020 Toshiba Teli Corporation11

データレートへの要求 – インターフェイス
10GbpsCameraLink

20Gbps

Sony
ams
24M
47.6M
On Semi
44.7M

30Gbps

40Gbps
ams
12.6M
e2v
67M

50GbpsGpixel
65M

GigE (RJ45)
USB
CoaXPress
GigE (SFP28)※上記は各インタフェースのデータ転送帯域となり、映像データ転送帯域とは異なります

どのインターフェイスを選択するかが重要© 2020 Toshiba Teli Corporation

12データレートへの要求 – インターフェイスインターフェイスの速度とコストの関係
コスト
GigE (SFP28)
CoaXPress
GigE(RJ45)
CameraLink

USB

速度

課題1 : どのインターフェイスを選択するか?
© 2020 Toshiba Teli Corporation

13データレートへの要求 – PC内部バックプレーン

バックプレーンであるPCI Expressの構成はPCにより様々
PCIe x 4

PCIe x 4

PCIe x 16

PCIe x 16

バス
ブリッジ
バス
変換バス
ブリッジ
CPU /
チップセット

利用するPCごとに個別調査する必要がある© 2020 Toshiba Teli Corporation

14データレートへの要求 – アプリケーション

カメラアプリケーションのカテゴリ
マシンビジョンカメラ

モニタリングカメラ

チップマウンタ
顕微鏡
産業用ロボット

研究設備

基板自動検査装置

モニタリング用途の要求が増加© 2020 Toshiba Teli Corporation

15

データレートへの要求 – アプリケーション

67Mカメラを4Kモニタで表示する場合

67M, 60 fps
4.2 GByte / sec

4K, 60 fps
1.5 GByte / sec
大容量データの受け渡し

課題2 : モニタリング用途の表示をどうするか?
© 2020 Toshiba Teli Corporation

16

インターフェイスごとの開発環境

TeliCamSDKの階層構造
ユーザアプリケーション
TeliCamAPI
TeliCamSDKTeliU3vDriverUSB

TeliGevDriver

GigE

TeliCamSDKにて、USB、GigE共通設計が可能© 2020 Toshiba Teli Corporation17

インターフェイスごとの開発環境

CameraLinkやCoaXPressはボードメーカーが開発ツールを提供
ユーザアプリケーション?
TeliCamSDK
ボードB用SDK

ボードA用SDK

ボードC用SDK

課題3 : ソフトウェア再利用性をどう向上するか?
© 2020 Toshiba Teli Corporation18

課題を整理課題1 : どのインターフェイスを選択するか?
課題2 : モニタリング用途の表示をどうするか?
課題3 : ソフトウェア再利用性をどう向上するか?

これらの課題に対するソリューションは?
© 2020 Toshiba Teli Corporation

19

02

テリーカメラによる課題解決© 2020 Toshiba Teli Corporation

20

どのインターフェイスを選択するか全ての要求を満たすインターフェイスは存在しない
CameraLink

GigE(SFP28)Base / Medium /Full

25G/50G/
100GBase

GigE(RJ45)CoaXPress

1000xBase-T /2.5G/5GBase-T /10GBase-T

CXP-1～12x1～x4

USB
USB3.1 Gen1 /USB3.1 Gen2 /USB3.2 / USB4.0

インターフェイスの選択が非常に重要© 2020 Toshiba Teli Corporation

21

どのインターフェイスを選択するか

転送速度とコストのバランスで選択
コスト
GigE (SFP28)
CoaXPress
GigE
GigE(RJ45)(RJ45)
CameraLink

USB

速度

USBとCoaXPressにフォーカス© 2020 Toshiba Teli Corporation

22

テリーカメラの紹介
BU series

BU2409MG/MCG/MCF

Bandwidth5G

Resolution

24.5M

最新の第四世代【Pregius S】センサを搭載した高画素・小型モデル
主な仕様

 撮像素子
 解像度
 画素サイズ 光学フォーマット
 アスペクト比 フレームレート
 インターフェース
 外形

Sony製 GS-CMOSセンサー
IMX54024.5M（5,320 x 4,600）□2.74 μm
1.2 型
7:6
15 fpsUSB3.1 Gen1
29(W)x29(H)x16(D) mm

USB3.1 Gen1による29mm角カメラの決定版© 2020 Toshiba Teli Corporation23

テリーカメラの紹介

光学サイズ、コネクタに着目

光学サイズ
対角19.3mm

USB3.1 Gen1
Micro-Bコネクタ

29mm角カメラにおける限界値© 2020 Toshiba Teli Corporation24

テリーカメラの紹介
DDU series

DDU1607MG/MCG/MCF

Bandwidth

10G

Resolution

16M

東芝テリーの独自技術Dual USBシリーズに16Mモデルを追加
主な仕様

 撮像素子
 解像度
 画素サイズ 光学フォーマット
 アスペクト比 フレームレート
 インターフェース
 外形

ON Semiconductor製 GS-CMOSセンサーXGS 16000
16M（4,000 x 4,000）□3.2μm1.1 型
1:1Dual ：47 fps
Single ：23 fps
USB3.1 Gen1 x 2-Port
40(W)x40(H)x35(D) mm

Dual USBによる低コスト & ハイパフォーマンス
© 2020 Toshiba Teli Corporation25

テリーカメラの紹介

Dual USBの可能性
コスト
CoaXPress
GigE(RJ45)
低コスト

USB

CameraLink

Dual USB

高速速度

圧倒的なコストパフォーマンス
© 2020 Toshiba Teli Corporation

26

テリーカメラの紹介
EX series

EX670AMG-X

Bandwidth50G

Resolution

67M

CXP-12 Quad出力を採用したハイエンド高画素・高速モデル
主な仕様

 撮像素子
 解像度
 画素サイズ 光学フォーマット
 アスペクト比 フレームレート インターフェース
 外形

Teledyne e2v製 GS-CMOSセンサー
EV2S67M
67M（8,192 x 8,192）□2.5μm1.8型（APS-C）
1:1>60 FPS
CoaXPress 2.0
60(W)x60(H)x80(D) mm

CoaXPressによる最大パフォーマンスを実現© 2020 Toshiba Teli Corporation27

テリーカメラの紹介
10Gbps20Gbps30Gbps

40Gbps50GbpsGigE (1000Base)

CameraLink (Base)
USB3.1 Gen1

GigE (5GBase)CoaXPress (CXP-6)
CameraLink (Full)

USB3.1 Gen2 /Dual USB3.1 Gen1

GigE (10GBase)CoaXPress (CXP-12)

CoaXPress (CXP-12 x 4)

GigE (25~100GBase)※上記は各インタフェースのデータ転送帯域となり、映像データ転送帯域とは異なります

最大パフォーマンスの現実解© 2020 Toshiba Teli Corporation

28

03

テリーソフトウェアによる課題解決© 2020 Toshiba Teli Corporation

29

ビュアーにおける課題

画素数が増えた場合のビュアーへの負担は…

67M, 60 fps
4.2 GByte / sec

4K, 60 fps
1.5 GByte / sec
大容量データの受け渡し

データの受け渡し、映像フォーマット変換の負担大© 2020 Toshiba Teli Corporation

30

新ビュアー - TeliViewer

TeliU3vViewer / TeliGevViewerの後継となるビュアーが完成
TeliViewer

新規設計により高パフォーマンスを実現© 2020 Toshiba Teli Corporation

31

新ビュアー - TeliViewer

24Mカメラを表示した場合

TeliU3vViewer (現行)約10 fpsで表示

TeliViewer
約15 fpsで表示

モニタリング用途における表示問題を解消© 2020 Toshiba Teli Corporation

32

TeliCamSDKによるソリューション

ソフトウェア再利用性をどう向上するか?
ユーザアプリケーションTeliCamSDKTeliCamSDK
ボードB用SDK

ボードA用SDK

ボードC用SDK

TeliCamSDKによる開発環境の統合© 2020 Toshiba Teli Corporation

33

TeliCamSDKによるソリューションGenICamの構造
ユーザアプリケーション
コマンド系

映像系

GenAPIGenTLGenICam

デバイス制御の共通規格であるGenTLを利用© 2020 Toshiba Teli Corporation

34

TeliCamSDKによるソリューション

TeliCamSDKは従来からGenTLに対応していたが…
ユーザアプリケーション
サードパーティ
画像処理SDK
TeliCamAPI制御されるための接続口

GenTL Producer

TeliCamSDKTeliU3vDriver

TeliGevDriver

従来は制御される側のGenTLのみサポート© 2020 Toshiba Teli Corporation

35

TeliCamSDKによるソリューション

TeliCamSDK 新バージョンでは…
ユーザアプリケーション
TeliCamAPIGenTL Producer
TeliCamSDKTeliU3vDriver

TeliGevDriver

GenTL Consumer

制御するための接続口

GenTL Producer

ボードメーカーDriver / API

制御する側のGenTLをサポート© 2020 Toshiba Teli Corporation

36

TeliCamSDKによるソリューション

TeliViewerも同様の構成

TeliViewer

TeliCamAPI
TeliCamSDKGenTL Comsumer

ボードメーカー Driver / API

CoaXPressカメラでもTeliViewerを利用可能© 2020 Toshiba Teli Corporation

37

TeliCamSDKの紹介

カメラをオープンし、画像を取得するサンプル// TeliCamAPIの初期化
Sys_Initialize();// カメラ探索
Sys_GetNumOfCameras(&uiNum);// カメラオープン
Cam_Open(0, &hCam);// ストリームI/F オープン
Strm_OpenSimple(hCam, &hStrm, &s_uiImgBufSize);// コールバック関数の登録
Strm_SetCallbackImageAcquired(hStrm, NULL, CallbackImageAcquired);// ストリーム転送開始
Strm_Start(hStrm);

少ないコードでアプリケーションを作成可能© 2020 Toshiba Teli Corporation

38

TeliCamSDKの紹介

豊富なサンプルコード
MFC (C++)用サンプルコード
Camera_Information
Camera_ControllingFunction
Stream_FreerunCallback
Stream_FreerunLockBuffer
Stream_SWTrgReadCurrentImage
Stream_Lowlevel
CameraEvent
MultiCamera

カメラ情報の表示
カメラパラメータの取得と表示
連続取り込み（Callback関数）
連続取り込み（LockBuffer)
トリガー取り込み
低水準ストリームAPI
イベント取得最大４カメラ画像同時表示.NET用サンプルコード.NET framework 2.0 用 C#、 VB.NET (.Net framework 2.0 ~ 3.5 に対応）
.NET framework 4.0 用 C#、 VB.NET (.Net framework 4.0 ~ 4.6 に対応）

すぐに使える、分かりやすいサンプルコード© 2020 Toshiba Teli Corporation39

TeliCamSDKの紹介

幅広いOSに対応
Windows

・Windows 7 (32 bit)・Windows 8.1 (32/64 bit)・Windows 10 (32/64 bit)

LinuxIntel/AMD・Ubuntu 14.04 LTS
・Ubuntu 16.04 LTS
・Ubuntu 18.04 LTS
・Debian 8.1.0
・CentOS 7.3
・Fedora 27

ARM

・Jetson TK1 (Jetpack 3.0 ubuntu14.04)
・Jetson TX2 (Jetpack 3.2 ubuntu16.04)
・Jetson nano (Jetpack 4.2.1 ubuntu 18.04)
・Odroid XU4 (Ubuntu mate 16.04)
・Raspberry pi 3 (Raspbian GNU/Linux 9)・Raspberry pi 4 (Raspbian GNU/Linux 10)

主なPC用 / 組込用OSをカバー© 2020 Toshiba Teli Corporation

40

04
まとめ

© 2020 Toshiba Teli Corporation41

テリー高画素カメラまとめEX series

EX670AMG-X




解像度
画素サイズ
光学フォーマット
アスペクト比フレームレート
インターフェース

DDU1607M series
10G








解像度
画素サイズ
光学フォーマット
アスペクト比フレームレート
インターフェース

50G

Resolution

67M

67M（8,192 x 8,192）□2.5μm1.8型（APS-C）
1:1>60 fpsCoaXPress2.0

DDU series

Bandwidth

Bandwidth

BU series

BU2409MG series
Bandwidth

Resolution

5G

16M

16M（4,000 x 4,000）□3.2μm1.1 型
1:1
47 fps（Dual）
USB3.1 Gen1

解像度
画素サイズ
光学フォーマット
アスペクト比フレームレート
インターフェース

Resolution

24.5M

24.5M（5,320 x 4,600）□2.74 μm
1.2 型
7:615 fps
USB3.1 Gen1

インターフェイス選択の課題を解決© 2020 Toshiba Teli Corporation42

テリーソフトウェアまとめ
TeliViewer

TeliCamSDK
ドライバ

ライブラリ

サンプルコード

ビューワ

設定ツール

取扱説明書

モニタリング用途、ソフトウェア再利用性の課題を解決© 2020 Toshiba Teli Corporation

43

東芝テリー展示ブースの紹介
出口入口

東芝テリー 展示ブース© 2020 Toshiba Teli Corporation

44

「Pregius」及び「Pregius S」はソニー(株)の登録商標です。
「Camera Link」、「GigE-Vision」、「USB3-Vision」はAIAの登録商標です。
「PCI EXPRESS」はPCI-SIGの登録商標です。
その他、本文に記載されている会社名、製品名及び規格名などの名称、ロゴは、それぞれ各社、各団体における商標または登録商法の場合があります。