エッジAI向けOSS動向および
NXPのAI開発への取り組みのご紹介
NXPジャパン株式会社
アプリケーション技術統括部
上釜 悠聖
J U LY 2 0 2 2PUBLIC
NXP, THE NXP LOGO AND NXP SECURE CONNECTIONS FOR A SMARTER W ORLD ARE TRADEMARKS OF NXP B.V.
ALL OTHER PRODUCT OR SERVICE NAMES ARE THE PROPERTY OF THEIR RES PECTIVE OW NERS. © 2020 NXP B.V.

Agenda

1.

会社紹介

2.

エッジAI向けOSS動向

3.

エッジAI開発におけるポイント

4.

NXPのAI開発への取り組み(eIQ)

5.

まとめPUBLIC

2

1. 会社紹介

PUBLIC
NXP, THE NXP LOGO AND NXP SECURE CONNECTIONS FOR A SMARTER W ORLD ARE TRADEMARKS OF NXP B.V.
ALL OTHER PRODUCT OR SERVICE NAMES ARE THE PROPERTY OF THEIR RES PECTIVE OW NERS. © 2020 NXP B.V.

3PUBLIC

3

NXPセミコンダクターについて

30+ヵ国

60+

本社：オランダ

60年以上の歴史(アイントホーフェン)

約31,000

約11,000

従業員数

エンジニア数9,500$11.06 B

特許数

年間売上高（注1）

注1 ：2021会計年度の実績：その他の情報については、 NXPウェブサイトのInvestor Relationsセクション（www.nxp.com/investor）にあるFinancial Informationページをご覧ください。

PUBLIC4フル・システム・ソリューションを提供

ワールドクラスのコネクティビティ・
ポートフォリオ

ユニークなMCU / MPU
製品ポートフォリオ

i.MX 6 / 7 / 8 / 8M
高性能、3Dグラフィックス

S32車載プラットフォーム
スケーラブル、セキュア、OTA、ASIL D

5GDSRC（V2X）

LayerscapeTM
高速イーサネット、TSN

i.MX RT
最大1GHzの高性能MCU

信頼性の高いソリューションを付加

幅広いお客様にフルシステム
ソリューションを提供

AI/ML
ソリューション

オートモーティブ

IoT向けセキュア・エレメント

インダストリアル

ソフトウェア
エコシステムモバイル

セキュアな車載ソリューション

通信インフラKinetisTM / LPC
低コストから高集積製品まで

PUBLIC5

2. エッジAI向けOSS動向

PUBLIC
NXP, THE NXP LOGO AND NXP SECURE CONNECTIONS FOR A SMARTER W ORLD ARE TRADEMARKS OF NXP B.V.
ALL OTHER PRODUCT OR SERVICE NAMES ARE THE PROPERTY OF THEIR RES PECTIVE OW NERS. © 2020 NXP B.V.

6

PUBLIC6セキュアエッジの増加

2030年までにコネクテッド・デバイスが750億台以上

セキュアエッジ
パソコン
携帯電話
ゲーム機

オーディオ／ビデオ2000Source: IHS, Oct 2021

スマートフォン

クラウド・コンピュー
ティング

2010

スマートコネクテッドデバイス
スマート工場
スマートホーム
スマートカー

2020

PUBLIC

7

AI(Deep Learning)開発フロー 概要
モデルを特定のHardware(CPU,GPU,etc)で動かすためのソフトウェア

データ
Training

推論エンジン

モデル

モデル

Validate(検証)入力

検証用データ

出力（推論結果）

cat

PUBLIC

8

Deep Learningモデル構造の概要• Example： Mobilenet (NN model for Image Classification)
Input Layer
RGB888 x Width x Height3 x 224 x 224= 150528 (bytes) →1000 (bytes) to classify up to 1000 objects↓Label file
(Text file containing 1000 objects name)0x1, 0x2, 0x1, …

●●●

mobilenet_v1_1.0_224_quant.tflite●●●PUBLIC

9Deep Learning Frameworkを用いた開発が主流

様々なDeep Learning Frameworkが存在
どれから勉強すればいいのか・・・

Deep Learning Frameworkの動向を調査！
PUBLIC10人気があるOSSのDeep Learning Framework

2020

2021

2022

TensorFlow
PytorchApache MXNet
Apache PredictionIO
Caffe2
Chainer
CTNK
Neon
PaddlePaddle

TensorFlow
PytorchApache MXNet
Caffe2
Chainer
CTNK
Deeplearning4j
TheanoTorch7

TensorFlow
PytorchApache MXNet
Keras
Deeplearning4j

PUBLIC11論文でのDeep Learning Framework使用比率
100%
90%
80%
70%

60%
50%
40%
30%
20%
10%
0%

2019

2020
PytorchTensorFLow

2021
MXNet2022
Other
PUBLIC

12

Define-By-RunとDefine-And-Run

Define-By-Run

Define-And-Run

方式

ネットワークの構築と実行が同時

ネットワークを構築後に実行

メリット

デバッグしやすい

最適化しやすいFramework

Pytorch, Chainerなど

TensorFlow, MXNet など
PUBLIC

13主要なOSSのDLフレームワークの特徴

名称

開発元

対応言語

特徴

TensorFlow

GooglePython, C++
Java, Go利用者が多い、Githubでも人気が高い
Keras(高レベルAPI）で実装しやすい

PytorchFacebook

Python研究分野での人気が高い
Define-by-Run、デバッグしやすい

ApacheMXNet

ワシントン大学,カーネギーメロン大学

Python,C++
Scala,R
Matlab, Julia, etc

Define-and-Run
対応言語多AWSが公式サポートを表明
PUBLIC

14

DLアプリ(vision)開発で使われるOSS（マルチメディア系）

マルチメディア
OSS

Gstreamer

OpenCV

NNStreamer

CV:DNNetc
PUBLIC

15

NNStreamerとは・GstreamerのML処理プラグイン
・Samsungが開発⇒LF AI Foundationに移管

・NNSharkでリアルタイムプロファイル

NNStreamer

推論結果

PUBLIC16

3. エッジAI開発におけるポイント

PUBLIC
NXP, THE NXP LOGO AND NXP SECURE CONNECTIONS FOR A SMARTER W ORLD ARE TRADEMARKS OF NXP B.V.
ALL OTHER PRODUCT OR SERVICE NAMES ARE THE PROPERTY OF THEIR RES PECTIVE OW NERS. © 2020 NXP B.V.

17

PUBLIC17

エッジデバイスでAI処理を行うメリットと課題

メリット
1.セキュリティの向上
2.リアルタイム性の向上
3.コスト削減課題

1.Hardwareリソースに限りがある
2.学習と異なる環境で推論を実施する場合が多い
18PUBLIC

18

モデルの精度と処理負荷はトレードオフの傾向
入力画像サイズ

MobileNet_v1_1.0_224
ハイパーパラメータ

1.0：精度最優先
0.25：処理速度最優先「計算量・ネットワークサイズ」と「Accuracy(精度)」はトレードオフの関係性

表：代表的な画像分類モデルMobileNet_v1

PUBLIC19

モデルの最適化
Quantization(量子化)• データ型を32bit浮動小数点から8bit整数に変換− モデルサイズを1/4に削減− 整数処理は浮動小数点処理よりも高速− 適切な処理で行えばaccuracy(精度)のロスは少ない

32-bitFloating Point

8-bit
Fixed Point

Pruning （枝刈り)• 重要でないネットワークノードを削除する− Pruning実施後は再度トレーニングを行うことが推奨されます

PUBLIC20

学習異なる環境で推論⇒モデル変換[Target デバイス][PC / Cloud]データ[Framework A]

Aモデル[Framework B]
ONNX(*1)
等で変換

Bモデル

変換不要なケースもあり※1:Open Neural Network Exchange

推論エンジンTensorFlow Liteなど
推論に特化したフレームワークを活用

DeepLearningモデルを様々なフレームワーク間で交換するためのフォーマット

PC/クラウドにて好きなフレームワークでモデルを作成⇒TargetデバイスのBSPが対応するFrameworkに変換してデプロイ
推論に特化したフレームワークを使用する形式が一般的
PUBLIC21

4. NXPのAI開発への取り組み(eIQ)

PUBLIC
NXP, THE NXP LOGO AND NXP SECURE CONNECTIONS FOR A SMARTER W ORLD ARE TRADEMARKS OF NXP B.V.
ALL OTHER PRODUCT OR SERVICE NAMES ARE THE PROPERTY OF THEIR RES PECTIVE OW NERS. © 2020 NXP B.V.

22

PUBLIC

22

eIQ機械学習ソフトウェア開発環境とは
NXP製MCU/MPU向けMachine Learning(機械学習)アプリを構築するためのソフトウェアライブラリおよび開発ツール一式
eIQ特徴

Ready To start
・テスト及び最適化実施済みの推論エンジン
・すぐにエッジAIを試せるサンプルソフトウェア

スケーラビリティ
i.MX 8M シリーズ全て、i.MX RTシリーズの一部に対応

・モデルトレーニングツール
・無償利用可能

PUBLIC23

eIQ 機械学習ソフトウェア開発環境
eIQ[Host PCで動作]
eIQ Portal

モデル[MCU/MPUで動作](BSPに統合)

デプロイ

・モデルトレーニング
・モデル評価・モデル変換,最適化 etc

PUBLIC24

eIQ Portal紹介(データ管理)

GUIでデータ管理

PUBLIC25

eIQ Portal紹介(Training用データ拡張)

データを加工⇒学習用データを水増し

PUBLIC

26

eIQ Portal紹介(トレーニング設定)「速度」「精度」の優先度を選択可能
PUBLIC27

eIQ Portal紹介(トレーニング)

PUBLIC28

eIQ Portal紹介(検証)

検証結果をGUIで確認可
PUBLIC29

ターゲットデバイス上でプロファイル(GUI)作成したモデルをターゲットデバイスでプロファイル

プロファイル結果をGUIで確認可
PUBLIC30

eIQ Portal紹介(Export)←モデルの最適化（量子化）PUBLIC31

モデル変換機能
GUI操作でモデルの変換可PUBLIC

32

i.MXプロセッサ＋eIQによるデモ

PUBLIC
NXP, THE NXP LOGO AND NXP SECURE CONNECTIONS FOR A SMARTER W ORLD ARE TRADEMARKS OF NXP B.V.
ALL OTHER PRODUCT OR SERVICE NAMES ARE THE PROPERTY OF THEIR RES PECTIVE OW NERS. © 2020 NXP B.V.

33

PUBLIC

33

eIQ対応MPU/MCUラインナップ

MPU

i.MX 8Mアプリケーションプロセッサシリーズ(Cortex®-A53)
i.MX 8M

i.MX 8M Nanoi.MX 8M Mini

i.MX 8M Plus

• 4x/2x Cortex ®-A53 @ 1.5GHz• Cortex ®-M4 @ 266MHz• GPU•4x/2x/1x Cortex®-A53 @ 1.6GHz•Cortex ®-M7 @ 750MHz•GPU• 4x/2x/1x Cortex ® -A53 @ 1.8GHz• Cortex ®-M4 @ 400MHz• GPU•4x/2x Cortex ® -A53 @ 1.8GHz•Cortex ®-M7 @ 800MHz•GPU•NPU (2.3TOPS)

Software Compatible

MCU

i.MX RTクロスオーバー・MCUシリーズ(Cortex-M33, M7)
i.MX RT600• Cortex ®-M33@300MHz• DSP@600MHz

i.MX RT1050/1060•Cortex ®-M7@600MHz

i.MX RT1170•Cortex ®-M7@1GHz•Advanced Security

PUBLIC34

デモ①NNSTREAMERを用いたOBJECT DETECTION

PUBLIC35

デモ①NNSTREAMER(NNSHARK)PUBLIC36

デモ①NNSTREAMER(NNSHARK)↓i.MX 8M Plus Power Consumption Measurement抜粋

PUBLIC37

デモ②処理性能比較

約5fps

・推論が完了するたびに画面をリフレッシュ・使用するモデル、スクリプト、解像度は同一約30fpsPUBLIC38

I.MX8M PLUSによるAIソリューションデモ

Forum会場でデモ展示中• NXPのi.MX8M Plus評価ボードとNXP提供の機械学習開発環境(eIQ)を使用した『Edgeデバイスによる推論デモ』を実施します
USB to UART

【デモ構成図】

Tera Term

MIPI-CSI

Host PC

HDMI

Object Detection デモ画面

i.MX8M Plus 評価ボード【デモの種類】➢ Object Classification：画像分類➢ Object Detection：物体検出➢ Pose Detection：姿勢検出
PUBLIC39

5.まとめPUBLIC
NXP, THE NXP LOGO AND NXP SECURE CONNECTIONS FOR A SMARTER W ORLD ARE TRADEMARKS OF NXP B.V.
ALL OTHER PRODUCT OR SERVICE NAMES ARE THE PROPERTY OF THEIR RES PECTIVE OW NERS. © 2020 NXP B.V.

40

PUBLIC40

まとめ
エッジAI向けOSS動向• 様々なフレームワークがあるが、TensorFlow, Pytorchの人気が特に高い• マルチメディア系OSSでDeep Learningを扱いやすい環境が整えられつつある
エッジAI導入におけるポイント• Hardwareリソースが限定的⇒モデル精度と処理速度のトレードオフを考慮する⇒モデルを最適化（量子化/枝刈り）する
NXPのAI開発への取り組み(eIQ)• eIQ Portalでモデルのトレーニング/評価/最適化などをGUIで実施可能• i.MX 8M PlusはAI処理に特化したNPU(2.3TOPS)を搭載• BSPに統合されているデモソフトで簡単かつ直ぐにエッジAIの評価を開始
PUBLIC41