最新のヘテロジニアス・システムにおけるビデオ解析環境

久保寺陽子

“Internet of things”
 “Internet of things” (IOT) は生活へ浸透• 接続しているデバイスの数は急増• 良く利用されるデバイスセンサーはカメラ データは爆発的に増加しているが、少ししか利用されていない• 一般には、従来通りのそれぞれのやり方で使用• 人間がすべてを網羅するのは無理 より賢い自動システムを構築する必要がある* Source: IDF, April 20172

さまざまな業界で多くのデバイス..

ヘッド・マウント・デバイス(AR/VR)

スマート監視カメラ(DSS)

視覚的適用分野 (AON):• 顔の検知/認識• 頭部/視線のトラッキング• 動作/ポーズの認識

視覚的適用分野:• 侵入の検知• 群衆のモニタリング• 特定の人/物体のトラッキング

自立移動デバイス

視覚的適用分野:• 障害物の検知• 衝突回避• 映像解析

自動車関連

視覚的適用分野:• 歩行者/車の検知• 衝突回避• 映像解析

3

驚きの新機能車黒い車

自動車メーカーを認識

ナンバープレートが不正

4車の持ち主でない4

驚きの新機能
人々を認識

人の動きを追跡

行動/目的を解析

Thief

Thief

Thief

5

5

AI の実用化はやっと始まったばかり6複雑化する実システムによる AI の実用
端末からクラウドまでのシステムの複合体

77

端末での解析をより多く  反応時間の短縮  より制御可能に
バンド幅や上流システムでの容量最小化が必須

88

適切なハードウェアの選択
視覚処理の効率

X100

電力効率

• 各デバイスでの考慮点:
 計算効率、並列性 (EU/Core の数)
 消費電力 メモリー階層と通信 プログラミング・モデル、API

専用ハードウェア
ビジョンDSP

X10

FPGA
GPU

X1

CPU
計算の自由度9スマートカメラ

ビデオ・ゲートウェイ/NVR

データセンター/クラウド

Size/Cost/Power による制限
10 ミリ秒台の遅延検知>.5TOPS

ビデオストリームの集合体(..100s)
検知/分類/追跡/解析>2TOPS

ビデオ/データストリームの集合体
分類/追跡/解析/学習>5TOPS

Performance/W

Performance/$

Performance/Sec(性能効率)(チャネル密度)(絶対的な性能)1010

スマートカメラ

ビデオ・ゲートウェイ/NVR

データーセンター/クラウド

CPU、GPU
インテル®
FPGA

インテル®
Movidius™
テクノロジー(省電力 & スモール・フォーム・ファクター、 カメラ利用中心)

インテル® Movidius™ テクノロジー・ベースのHigh Density Deep Learning (HDDL)

Size/Cost/Power による制限
10 ミリ秒台の遅延検知>.5TOPS

ビデオストリームの集合体(..100s)
検知/分類/追跡/解析>2TOPS

ビデオ/データストリームの集合体
分類/追跡/解析/学習>5TOPS

Performance/W

Performance/$

Performance/Sec(性能効率)(チャネル密度)(絶対的な性能)

11

11

デコード

前処理

推論

後処理

エンコード

1212

デコード

前処理

推論

後処理

エンコード

13

13

充実の SW スタック
SDKOpenCV

インテル®
ディープラーニング・
デプロイメント・ツールキットOptimized CV
capabilities

インテル®
Media SDK

インテル® コンピューター・ビジョン SDK

ツール
ライブラリー インテル®
IPP

コンパイラー、アナライザー、デバッガー
インテル®
TBB

インテル®
OpenCL* MKL-DNN

CL-DNN
インテル® DAALOpenCL* SDK
インテル®
MKL

インテル® Distribution for Python*

ハードウェア*その他の社名、製品名などは、一般に各社の表示、商標または登録商標です。

14

デコード

前処理

推論

後処理

エンコード

Open Visual Inference & Neural Network Optimization
インテル® OpenVINO™ ツールキット
インテル® Media SDK

インテル® Media SDK

インテル® System Studio

SDK

OpenCV

インテル®
ディープラーニング・
デプロイメント・ツールキット

Optimized CV
capabilities

インテル®
Media SDK

インテル® コンピューター・ビジョン SDK

ツール
ライブラリー

コンパイラー、アナライザー、デバッガー
インテル®
IPP

インテル®
TBB

インテル®
OpenCL* MKL-DNN

OpenCL* SDKCL-DNNインテル®
インテル® DAAL MKL

インテル® Distribution for Python**その他の社名、製品名などは、一般に各社の表示、商標または登録商標です。

1515

デコード

前処理

推論

後処理

エンコード

インテル® OpenVINO™ ツールキット
インテル® Media SDK

インテル® Media SDK

インテル® System Studio
ビルド
インテル® C++ コンパイラー
インテル® マス・カーネル・ライブラ
リー (インテル® MKL)
インテル® データ・アナリティクス・アクセラレーション・ライブラリー(インテル® DAAL)
インテル® インテグレーテッド・
パフォーマンス・プリミティブ(インテル® IPP)
インテル® スレッディング・ビルディ
ング・ブロック (インテル® TBB)

解析
インテル® VTune™ Amplifier
電力解析
インテル® Inspector
インテル® Graphics
Performance Analyzer

デバッグ
インテル® システム・デバッガー
インテル® Debug Extensions forWinDbg
GDB アプリケーション・デバッガー

16インテル® System Studio の構成
Ultimate Edition1

ビルドC++
コンパイラー

ライブラリー
画像、信号、数値演算、スレッディン
グ、データ解析、IoT 接続ツール

デバッグ

解析
インテル®
SDK for
OpenCL*
Applications

消費電力と性能ベクトル化、メモリー関連とスレッ
ディングLinux*、Android*、Windows* または VxWorks* 上で動作するシステムとアプリケーション

アプリケーションとシステム

JTAG、
USB 経由の JTAG

デバッグとトレース

UEFI
エージェント

統合開発環境 (IDE): Eclipse* Standard、Microsoft* Visual Studio*、Wind River* Workbench
サポートする開発ホスト OS: Linux*、Windows*、macOS*

インテル® アーキテクチャー・ベースのプラットフォーム
インテル® System Studio 2019 の新機能
Composer、Professional、Ultimate の 3 つのエディション
1無償で最新版へのバージョンアップ可能 (ライセンスは 1 年ごと)

*その他の社名、製品名などは、一般に各社の表示、商標または登録商標です。

17

デコード

学習

前処理

モデル・オプティマイザー

推論

推論エンジン

後処理

エンコード

最適化/
ヘテロ環境をサポート
CPU:インテル®
MKL-DNN

Xeon®/Core™/Intel Atom®

cl-DNN

拡張性

Extensibility

C++
Extensibility

GPU

OpenCL*FPGA

OpenCL*/TBD

Extensibility

DLA

Extensibility

In work

TBD

Myriad 2/X*その他の社名、製品名などは、一般に各社の表示、商標または登録商標です。

1818

デコード

前処理

推論

後処理

エンコード

• 伝統的なコンピューター・ビジョン: OpenCV* は多くのコンピューター・ビジョン・プロジェクトで使用されている
 OpenCL* はアクセラレーターで実行するコードを記述*その他の社名、製品名などは、一般に各社の表示、商標または登録商標です。

1919

デコード

前処理

推論

後処理

エンコード

20

20

デコード

前処理

推論

後処理

エンコード

VDBox: ビットストリーム・デコーダー
エンコード・アクセラレーション

VEBox: ビデオ・エンハンスメント/
フレーム処理操作におけるハード
ウェア・アクセラレーション

EUs: “実行ユニット”
3D レンダリング、
エンコード・アクセラレーション

2121

デコード前処理

推論

GT2
インテル® HD グラフィックス
24 Eus、1 MFX

後処理

エンコード

GT3
インテル® Iris® グラフィックス
48 Eus、2 MFX

22

GT4インテル® Iris® Pro
グラフィックス
72 Eus、2 MFX

22

デコード

前処理

インテル® Media SDK

推論

後処理

エンコード

インテル® Media SDK

インテル® クイック・シンク・ビデオでサポートされているエンコード、デコードおよび処理を利用するための API H.265 (HEVC) H.264 (AVC) MPEG-2 など
 サイズ変更、スケール変更、デインターレース
 カラー変換、合成
 ノイズ除去、シャープネスなど
 フレームレート変換
 色空間変換 合成/アルファ・ブレンディング スケーリング利点
 クロス OS、クロスプラットフォームをサポートする API

 コード変更することなく最新のプロセッサーをサポート
 性能と品質の向上を追求
 性能チューニング・ツール (任意のプラットフォーム)• Media-SDK Analyzer• Media-SDK Tracer
 オープンソース

2323デコード

前処理

インテル® Media SDK

推論

後処理

エンコード

インテル® Media SDK

24

デコード

前処理

推論

後処理

エンコード

GPU へ
実行モジュールのロード

ディープラーニング・モデルが GPU 上で 4 回実行

25

デコード

前処理

推論

後処理

エンコード

26

デモ27

インテルのサポートするビデオ解析
 実際のビデオ解析のワークロードを構築• ヘテロジニアス・システム (CPU、GPU、FPGA、VPU)• コンピューター・ビジョン、ディープラーニング、メディア

 インテル・ツールの利用• 計算精度を達成するためにすべてのワークロードを CPU 向けに (OpenCV*)
コーディング• 消費電力と性能のターゲットを実現するためには: クリティカル・パスと一番計算能力とメモリーを必要とするタスクの特定
 重い計算のタスクをアクセラレーターにオフロード
 性能とデバイスの使用状況を測定*その他の社名、製品名などは、一般に各社の表示、商標または登録商標です。

28

さあ、はじめましょう: インテル® OpenVINO™ ツールキット
 https://software.intel.com/computer-vision-sdk (英語) インテル® Media SDK
 https://software.intel.com/media-sdk (英語) インテル® System Studio https://www.xlsoft.com/jp/products/intel/system/index.html

 インテル® Smart Video Portal https://www.intel.com/content/www/us/en/embedded/solutions/smartvideo/video-overview.html (英語)

29

Q&A

30

法務上の注意書きと最適化に関する注意事項
パフォーマンス結果は 2018 年 9 月時点のテスト結果に基づいたものであり、公開されている利用可能なすべてのセキュリティー・アップデートが適用されていない可能性があります。詳細については、構成の開示を参照してください。絶対的なセキュリティーを提供できる製品はありません。
性能に関するテストに使用されるソフトウェアとワークロードは、性能がインテル® マイクロプロセッサー用に最適化されていることがあります。SYSmark* や
MobileMark* などの性能テストは、特定のコンピューター・システム、コンポーネント、ソフトウェア、操作、機能に基づいて行ったものです。結果はこれらの要因によって異なります。製品の購入を検討される場合は、他の製品と組み合わせた場合の本製品の性能など、ほかの情報や性能テストも参考にして、パフォーマンスを総合的に評価することをお勧めします。 詳細については、www.intel.com/benchmarks (英語) を参照してください。
本資料の情報は、現状のまま提供され、本資料は、明示されているか否かにかかわらず、また禁反言によるとよらずにかかわらず、いかなる知的財産権のライセンスも許諾するものではありません。製品に付属の売買契約書『Intel's Terms and Conditions of Sale』に規定されている場合を除き、インテルはいかなる責任を負うものではなく、またインテル製品の販売や使用に関する明示または黙示の保証 (特定目的への適合性、商品性に関する保証、第三者の特許権、著作権、その他、知的財産権の侵害への保証を含む) をするものではありません。
© 2018 Intel Corporation. 無断での引用、転載を禁じます。Intel、インテル、Intel ロゴ、Intel Inside、Intel Inside ロゴ、Arria、Intel Atom、Celeron、Intel Core、Cyclone、Iris、Movidius、Stratix、Xeon、OpenVINO、VTune は、アメリカ合衆国および / またはその他の国における Intel Corporation またはその子会社の商標です。
*その他の社名、製品名などは、一般に各社の表示、商標または登録商標です。
最適化に関する注意事項

インテル® コンパイラーでは、インテル® マイクロプロセッサーに限定されない最適化に関して、他社製マイクロプロセッサー用に同等の最適化を行えないことがあります。これには、インテル® ストリーミング SIMD 拡張命令 2、インテル® ストリーミング SIMD 拡張命令 3、インテル® ストリーミング SIMD 拡張命令 3 補足
命令などの最適化が該当します。インテルは、他社製マイクロプロセッサーに関して、いかなる最適化の利用、機能、または効果も保証いたしません。本製品のマイクロプロセッサー依存の最適化は、インテル® マイクロプロセッサーでの使用を前提としています。インテル® マイクロアーキテクチャーに限定されない最適化のなかにも、インテル® マイクロプロセッサー用のものがあります。この注意事項で言及した命令セットの詳細については、該当する製品のユーザー・リファレンス・ガイドを参照してください。
注意事項の改訂 #20110804
31