V1.0 2022/1/6

抜粋版
はじめてのTensorRT学習キット
ubuntuでTensorRTの基礎マスター、体験

学習編(ubuntu版）

スペクトラム・テクノロジー株式会社
https://spectrum-tech.co.jp
sales@spectrum-tech.co.jp
all rights reserved 2022 spectrum technology co.

1

公式サイト：https://developer.nvidia.com/tensorrt

学習キット 目次• ubuntu運用マニュアル• ubuntuについて• Linux基本コマンド• ubuntu基本操作• 日常運用（ウイルススキャン、更新）

抜粋版のためページと本文は一致しません

13

概要
TensorRT(python)事例

①
②
③
④
⑤
⑥
⑦
⑧
⑨
⑩
⑪

4
4
6
7

9
10
11

• 学習キット 全体像• ハード概要• ソフト概要• TensorRT
1.
2.

ページ

EfficientDet
EfficientNet
end_to_end_tensorflow_mnist
engine_refit_mnist
engine_refit_onnx_bidaf
int8_caffe_mnist
introductory_parser_samples
network_api_pytorch_mnist
onnx_packnet
tensorflow_object_detection_api
yolov3_onnx
all rights reserved 2022 spectrum technology co.

17
23
30
31
32
33
34
35
36
37
43
2

公式サイト：https://developer.nvidia.com/tensorrt

学習キット 目次
• TensorRT
1.
2.
3.

4.
5.

13
17

概要
TensorRT(python)事例
TensorRT(C++)事例

①
②
③
④
⑤
⑥
⑦
⑧
⑨
⑩
⑪
⑫
⑬
⑭
⑮
⑯
⑰
⑱

Samplemnist
SamplemnistAPI
sampleOnnxMNIST
sampleUffMNIST
sampleAlgorithmSelector
sampleDynamicReshapesampleFasterRCNN
sampleUffFasterRCNN
sampleCharRNN
sampleGoogleNet
Sampleint8
sampleINT8API
sampleIOFormats
sampleNMT
sampleSSD
sampleUffSSD
sampleUffPluginV2Ext
Trtexec

44
45
46
47
48
49
50
51
53
54
55
56
57
58
60
61
62
63

①
②

BERT
HuggingFace

64
65

①
②
③

画像セグメンテーション
画像分類
量子化

67
68
69

Demo事例Torch2trt

all rights reserved 2022 spectrum technology co.

3

Ubuntu運用マニュアル
1. UbuntuについてＬｉｎｕｘの中でも一番シェアの高いＯＳです。２００４年にＤｅｂｉａｎ系から派生。

2. Linux基本コマンド① システム関係• 起動：電源を入れると自動で起動します。
• 再起動：$ reboot
又は、左上のメニューの「ゲストを再起動• 終了：$ shutdown
又は、左上のメニューの「ゲストをシャットダウン」• ログアウト $ exit
ルートからログアウトします• 日本語／英語の入力切替：半角／全角のボタン（ＥＳＣボタンの下）

all rights reserved 2022 spectrum technology co.

4

Ubuntu運用マニュアル
2.

Linux基本コマンド② ディレクトリ操作、コピー、移動、削除
masa@ubuntu:~$cd /home/masa/Documents
ディレクトリの切り替え
masa@ubuntu :/home/masa/Documents$ ls ファイルとディレクトリの表示（表示したら操作したいファイルを右クリック
でコピペして操作します
masa@ubuntu:~$ cp ファイル名 ディレクトリ 配下のディレクトリのファイルを別のディレクトリへコピー
masa@ubuntu:~$ mv ファイル名 ディレクトリ
配下のディレクトリのファイルを別のディレクトリへ移動
masa@ubuntu:~$ rm ファイル名
ファイルの削除
便利な機能
rm –help
コマンドのオプションが分からない場合は、ヘルプで問い合わせる。すべてのコマンド共通(マイナスを２個とhelp)③ ユーザ権限、プロセス他
masa@ubuntu :~ $ su スーパーユーザ（root)に切り替え、パスワードを入力
masa@Ubuntu:~$ sudo
ルート権限で各種コマンドを実施します。
masa@ubuntu:~$ ps a
現状の動いているプロセスを表示
masa@ubuntu:~$ kill
特定のプロセスを強制終了
masa@ubuntu:~$ apt-get install pkg
パッケージのインストールなどに使用
masa@ubuntu:~$ date
日付、時間の設定を行います。
masa@ubuntu:~$ leafpad /etc/network/interfaces
インタフェースに記述してい内容を変更します。Viよりも使いやすいです。

④ モジュール、usb、メモリ、ＨＤＤなどの表示
masa@ubuntu:~$ lsmod
masa@ubuntu:~$ lsusb
masa@ubuntu:~$ free –mt
masa@ubuntu:~$ df

linuxのモジュールリスト表示
usbのデバイス表示
メモリ使用状態表示
ＨＤＤ（マイクロＳＤ）の使用状態表示
all rights reserved 2022 spectrum technology co.

5

Ubuntu運用マニュアル
3. 基本操作① 表示画面と内容
主に使用するもの
・ブラウザ：Ｃｈｒｏｍｅ・フォルダ：Ｄｏｃｕｍｅｎｔｓ内に必要なファイルがあります。
・コマンド：コマンド画面を立ち上げて、
python3のプログラムを動作させます。

all rights reserved 2022 spectrum technology co.

6

学習キット 全体像(ubuntu版)
ハードウエアGPUCPUi9,i7,i5 第７世代
以降
Ryzen

画像系

Nvidia RTX30, 20,
GTX16シリーズに対応

USBメモリ+ＯＳ

ＡＩ系
Jetson nano版AI開発
キット（TensorRT搭載）
はリリース済（2020/6）

プログラム言語グラヒック

all rights reserved 2022 spectrum technology co.

7ハードウエア概要①必要なハードウエア仕様
本ＰＣにインストールするハードウエアの概要です。
区分

プロダクツ

USBメモリ（ｕｂｕｎｔｕ版）

64GB USB3.0
TensorRT用プログラム一式

メーカ

備考

お客様準備品

PC本体

cpu

i9-7900以上（第７世代以降）
i7-7700以上（同上）i5-7400以上（同上）
Ryzen

GPU

GTX16シリーズ
RTX30,20シリーズ

メモリ

16GB以上マザーボードによっては、ＧＰ
Ｕが搭載できない場合があります。

nvidiaオプション
カメラ

ＨＤ用 ＵＳＢカメラ

all rights reserved 2022 spectrum technology co.

リアルタイムで画像認識を行う
場合

8ソフトウエア概要①ソフトウエア一覧
本ＰＣにインストールするソフトウエアの概要です。
区分

ソフト名

バージョン

OS

ubuntu18.04.3 LTS

GPU用

cuDNN

8.1.0+cuda11.2

Nvidia用,搭載するGPUに依存プログラム言語

python3

3.6.9

仮想化については、各自実施

C++

cmake:3.10.2
gcc:8.4.0

tensorRT

8.2.1

Nvidia gpu用

tensorflow

2.5.0

Google、搭載GPU依存

Pytorch

1.8

Facebook開発

onnx

1.8.1

ＡＩ用プログラム

各種モジュール

備考

Jupyter notebook、
matplotlibなど多数のpipラ
イブラリ
Opencv, yoloのインストールはお客様で実施してください。又は、弊社「顔認識・物体認識用ＡＩ開発
キットＴＦ２」を購入ください。
all rights reserved 2022 spectrum technology co.

9ソフトウエア概要②プロトコルスタック
各ソフトの位置付けです。
Python3、c++：プログラム言語
アプリ

Application Program

Nvidia GPUが必須

TensorRT

Tensorflow

Pytorch

cuDNN

画像処理

OpenCV
Linux

Windows
CPU

ＡＩ

CUDA
GPU

all rights reserved 2022 spectrum technology co.

ＯＳ
ハード

10

TensorRT

公式サイト
https://developer.nvidia.com/tensorrt

１．概要
① 概要

• TensorRTベースのアプリケーションは、推論中にCPUのみのプラットフォーム
よりも最大40倍高速に実行されます。 TensorRTを使用すると、すべての主
要なフレームワークでトレーニングされたニューラルネットワークモデルを最適化し、低精度を高精度で調整し、ハイパースケールデータセンター、組み込み、または自動車製品プラットフォームに展開できます。
• NvidiaのGPUが必須になります。

② 利用方法• TensorRTは、量子化対応トレーニングとトレーニング後の量子化を使用した
INT8と、ビデオストリーミング、音声認識、推奨、不正検出、テキスト生成、
自然言語処理などの深層学習推論アプリケーションの本番環境へのFP16最適化を提供します。精度の推論が低下すると、アプリケーションの遅延が大幅に減少します。これは、自律型および組み込みアプリケーションだけでなく、多くのリアルタイムサービスの要件です。
• TensorRTを使用すると、開発者は、推論展開のパフォーマンスチューニング
ではなく、新しいAIを利用したアプリケーションの作成に集中できます。
• Github：https://github.com/NVIDIA/TensorRT

all rights reserved 2022 spectrum technology co.

11TensorRT
１．概要

③ 概念図
• 図のとおり処理します。
• 訓練されたニューラル・ネットワーク• TensorRT最適化：高速化が可能になります。
1.精度の低下

精度を維持しながらモデルを量子化することにより、FP16またはINT8でスループットを最大化します

2.レイヤとテンソルの融合
カーネル内のノードを融合することにより、GPUメモリと帯域幅の使用を最適化します

3.カーネルの自動調整
ターゲットGPUプラットフォームに基づいて最適なデータレイヤーとアルゴリズムを選択します

4.動的テンソルメモリ
メモリフットプリントを最小限に抑え、テンソルのメモリを効率的に再利用します

5.マルチストリーム実行
スケーラブルな設計を使用して、複数の入力ストリームを並行して処理します

6.タイムフュージョン
動的に生成されたカーネルを使用して、タイムステップにわたってリカレントニューラルネットワークを最適化します• 最適化された推論エンジンを生成

all rights reserved 2022 spectrum technology co.

12TensorRT
１．概要④ パフォーマンス• NvidiaのGPUとIntel cpuの処理比較です。１０－３０倍の処理能力？
• 弊社のテストのデータは別途提示しますが、pytorchとTensorRTでは、２-３倍。
TensorflowとTensorRTでは、数十倍高速化されます。

⑤ お勧めの使い方• Tensorflow, pytorchで作成したモデルを変換してtensorRTで高速化• tensorRTの高速化モデルをjetson nanoなどのエッジデバイスで動作させる。
• 今回の学習キットは、汎用のデスクトップPC（NvidiaのRTX30，20のGPU搭載）
でTensorRTの高速化モデルを作成することに使用
all rights reserved 2022 spectrum technology co.

13

TensorRT
１．概要

A:難しい、B:やや難しい、C：普通-：バグ等で動作しない⑥．項目一覧

all rights reserved 2022 spectrum technology co.

14

入力コマンド$ pip3 install onnxruntime==1.8.1 tf2onnx==1.8.1$ cd /usr/src/tensorrt/$ git clone https://github.com/google/automl
cd /usr/src/tensorrt/data/efficientdet$ cd /usr/src/tensorrt/automl/efficientdet$ python3 model_inspect.py ¥--runmode saved_model ¥EfficientDet--model_name efficientdet-d0 ¥--ckpt_path• https://github.com/NVIDIA/TensorRT/tree/main/samples/python/efficientdet/usr/src/tensorrt/data/efficientdet/efficientdet-d0 ¥• TensoｒRTを使用した物体検出--saved_model_dir• 使用モデルGoogle EfficientDet/usr/src/tensorrt/data/efficientdet/saved_model

TensorRT
2.TensorRT(python)事例①• 事前準備• 追加モジュール$ pip3 install onnxruntime==1.8.1• モデル変換tf2onnx==1.8.1a)tensroflow—b)onnx—c)tensorRTで一度onnxを経由します。

• Onnxは、open neural network exchangeの略でkeras, pytorchなどとの互換性と高速化を図り、tensorRTを使う上では必須になります。

a) Tensorflow saved model• AutoMLのダウンロード,他にTFOD zooのモデル例が上記githubに掲載（今回は省略$ cd /usr/src/tensorrt/
dataフォルダをusbから$ git clone https://github.com/google/automl
上書きコピペした場合$ cd /usr/src/tensorrt/data/efficientdet内には既に存在
https://github.com/google/automl/tree/master/efficientdet
上記URLの2. Pretrained EfficientDet CheckpointsのEfficientDet-D0のckptをダウンロードして解凍
上記のダウンロードしたモデルからSave_modelを生成$ cd /usr/src/tensorrt/automl/efficientdet$ python3 model_inspect.py ¥--runmode saved_model ¥--model_name efficientdet-d0 ¥--ckpt_path /usr/src/tensorrt/data/efficientdet/efficientdet-d0 ¥--saved_model_dir /usr/src/tensorrt/data/efficientdet/saved_model
all rights reserved 2022 spectrum technology co.

15

TensorRT
2.TensorRT(python)事例

入力コマンド$ cd /usr/src/tensorrt/samples/python/efficientdet$ python3 infer.py ¥--engine engine.trt ¥--input construction1.jpg ¥--output output① EfficientDet• https://github.com/NVIDIA/TensorRT/tree/main/samples/python/efficientdet• TensoｒRTを使用した物体検出• 使用モデルGoogle EfficientDet• tensorRTによる画像検出

tensorrtエンジン：engine.trtを使って画像検出します。TFとTRTの比較がでます。
$ cd /usr/src/tensorrt/samples/python/efficientdet
construction1.jpgは、 /usr/src/tensorrt/data/efficientdet/内にありますのでコピペで使用してください。
$ python3 infer.py ¥--engine engine.trt ¥--input construction1.jpg ¥--output output
いろいろな画像でテストしてください。
最初のtensorflowのモデルで検出するものが変わります。

all rights reserved 2022 spectrum technology co.

16

TensorRT
2.TensorRT(python)事例① EfficientDet

入力コマンド$ cd /usr/src/tensorrt/samples/python/efficientdet$ python3 compare_tf.py ¥--engine engine.trt ¥--saved_model/usr/src/tensorrt/data/ssd_mobilenet_v2_320x32
0_coco17_tpu-8/saved_model ¥--input Abyssinian_1.jpg ¥--output output1• https://github.com/NVIDIA/TensorRT/tree/main/samples/python/efficientdet• TensoｒRTを使用した物体検出• 使用モデルGoogle EfficientDet• tensorRTによる画像検出の比較

tensorrtエンジン：engine.trtを使って画像検出します。TFとTRTの比較がでます。
$ cd /usr/src/tensorrt/samples/python/efficientdet
Abyssinian_1.jpgは、 /usr/src/tensorrt/data/efficientdet/内にありますのでコピペで使用してください。
$ python3 compare_tf.py ¥高速化がわか--engine engine.trt ¥りやすい--saved_model /usr/src/tensorrt/data/ssd_mobilenet_v2_320x320_coco17_tpu8/saved_model ¥--input Abyssinian_1.jpg ¥--output output1

all rights reserved 2022 spectrum technology co.

17

TensorRT
2.TensorRT(python)事例② EfficientNet

入力コマンド$ cd /usr/src/tensorrt/samples/python/efficientnet$ python3 eval_gt.py ¥--engine /usr/src/tensorrt/data/effnetv2/effnetv2s/checkpoint/engine.trt ¥--annotations /usr/src/tensorrt/data/effnetv2/val.txt¥--input /usr/src/tensorrt/data/effnetv2/imagenet/val¥--preprocessor V2• https://github.com/NVIDIA/TensorRT/tree/main/samples/python/efficientnet• TensoｒRTを使用した分類• 使用モデルEfficientNet V2• tensorRT推論の検証

tensorrtエンジン：engine.trtを画像分類を行います。 ImageNet の ILSVRC2012のデータを使用。
出力結果の検証。
$ cd /usr/src/tensorrt/samples/python/efficientnet$ python3 eval_gt.py ¥--engine /usr/src/tensorrt/data/effnetv2/effnetv2-s/checkpoint/engine.trt ¥--annotations /usr/src/tensorrt/data/effnetv2/val.txt¥--input /usr/src/tensorrt/data/effnetv2/imagenet/val¥--preprocessor V2
結果
Processing 5000 / 5000 : Top-1 83.5% , Top-5: 96.9%
Top-1 Accuracy: 83.540%
Top-5 Accuracy: 96.900%

all rights reserved 2022 spectrum technology co.

18

TensorRT
2.TensorRT(python)事例

入力コマンド$ cd/usr/src/tensorrt/samples/python/introductory_parser_samples$ python3 onnx_resnet50.py -d/usr/src/tensorrt/data/effnetv2/effnetv2s/checkpoint/model.onnx⑦ introductory_parser_samples

https://github.com/NVIDIA/TensorRT/tree/main/samples/python/introductory_parser_samplesthe UFF, Caffe and ONNXモデルを使って、TensorRT実行• 使用モデルresnet50
他にuff,caffeのモデルも• tensorRT推論実行$ cd /usr/src/tensorrt/samples/python/introductory_parser_samples/usr/src/tensorrt/data/effnetv2/を使用$ python3 onnx_resnet50.py -d /usr/src/tensorrt/data/effnetv2/effnetv2s/checkpoint/model.onnx

あります。

結果
Correctly recognized /usr/src/tensorrt/data/resnet50/binoculars.jpeg as binoculars

all rights reserved 2022 spectrum technology co.

19

TensorRT
2.TensorRT(python)事例

入力コマンド$ cd/usr/src/tensorrt/samples/python/network_api_pytor
ch_mnist$ python3 sample.py⑧ network_api_pytorch_mnist

https://github.com/NVIDIA/TensorRT/tree/main/samples/python/network_api_pytor
ch_mnist
Pytorchのmnistを使って、TensorRT実行• 使用モデルmnist• tensorRT推論実行$ cd /usr/src/tensorrt/samples/python/network_api_pytorch_mnist$ python3 sample.py

結果
Test set: Average loss: 0.0552, Accuracy: 9822/10000 (98%)
Test Case: 0
Prediction: 0
学習：６万回ｘ２回実施して、98％の正解率：かなり高速で学習
テストデータも0で正解

all rights reserved 2022 spectrum technology co.

20

TensorRT
2.TensorRT(python)事例⑩ tensorflow_object_detection_api

入力コマンド$ cd /usr/src/tensorrt/samples/python/tensorflow_object_detection_api$ python3 compare_tf.py ¥--engine engine.trt ¥--saved_model /usr/src/tensorrt/data/export/saved_model ¥--input /usr/src/tensorrt/data/coco/val2017 ¥--annotations/usr/src/tensorrt/data/coco/annotations/instances_val2017.json ¥--output output1 ¥--preprocessor fixed_shape_resizer ¥--labels labels_coco.txt

https://github.com/NVIDIA/TensorRT/tree/main/samples/python/tensorflow_object_dete
ction_api
Tensorflowのobject detecition apiを使って、TensorRT実行• 使用モデルssd_mobilenet_v2• TF vs TRT比較• 全体の流れは、①efficientDetと同じ$ cd /usr/src/tensorrt/samples/python/tensorflow_object_detection_api$ python3 compare_tf.py ¥--engine engine.trt ¥--saved_model /usr/src/tensorrt/data/export/saved_model ¥--input /usr/src/tensorrt/data/coco/val2017 ¥--annotations /usr/src/tensorrt/data/coco/annotations/instances_val2017.json ¥--output output1 ¥--preprocessor fixed_shape_resizer ¥--labels labels_coco.txt

結果
１００枚の画像でTF、TRT, Ground Truthの比較が見れます。

all rights reserved 2022 spectrum technology co.

21

TensorRT
2.TensorRT(python)事例

入力コマンド$ cd /usr/src/tensorrt/samples/python/yolov3_onnx$ python3 yolov3_to_onnx.py -d/usr/src/tensorrt/data/yolov3_onnx$ python3 onnx_to_tensorrt.py -d/usr/src/tensorrt/data/yolov3_onnx⑪ yolov3_onnx

https://github.com/NVIDIA/TensorRT/tree/main/samples/python/yolov3_onnx
Yolov3からonnxに変換し、TensorRT実行
Opencv, yoloのインストールはお• 使用モデルcoco dataset
客様で実施してください。又は、弊• Yolov3_trt実行社「顔認識・物体認識用ＡＩ開発• 全体の流れは、①efficientDetと同じ
キットＴＦ２」を購入ください。
$ cd /usr/src/tensorrt/samples/python/yolov3_onnx• Yolov3データ/usr/src/tensorrt/data/yolov3_onnx 配下にyolov3.cfg, yolov3.weihts, sample写真が入ってます。
• Yolov3からonnx変換$ python3 yolov3_to_onnx.py -d /usr/src/tensorrt/data/yolov3_onnx

結果
Yolov3.onnx, Yolov3.trtが出力されます。
• Trt実行$ python3 onnx_to_tensorrt.py -d /usr/src/tensorrt/data/yolov3_onnx
結果
dog_bboxes.pngが出力

all rights reserved 2022 spectrum technology co.

22

TensorRT
3.TensorRT(c++)事例

入力コマンド$ cd/home/masa/Documents/TensorRT/build/samples/sam
pleMNIST/out$ ./sample_mnist -datadir=/usr/src/tensorrt/data/mnist --fp1① Samplemnist

https://github.com/NVIDIA/TensorRT/tree/main/samples/sampleMNIST“Hello World” For TensorRT
設定編でc++を実行• 使用モデルmnist
すると、各sample
フォルダに実行ファ• データ準備
イルがoutフォルダ• usbのdataを/usr/src/tensorrt/dataに上書きするとmnistのデータがあります。 に自動生成• sample実行$ cd /home/masa/Documents/TensorRT/build/samples/sampleMNIST/out$ ./sample_mnist --datadir=/usr/src/tensorrt/data/mnist --fp16

結果
手書きの６（入力）と予想の６が一致

all rights reserved 2022 spectrum technology co.

23

TensorRT
3.TensorRT(c++)事例⑧ sampleUffFasterRCNN

入力コマンド$ cd/home/masa/Documents/TensorRT/build/samples/sam
pleUffFasterRCNN/out$ ./sample_uff_fasterRCNN --datadir/home/masa/Documents/TensorRT/samples/sampleUff
FasterRCNN/uff_faster_rcnn -W 480 -H 272 -I
000456.ppm

https://github.com/NVIDIA/TensorRT/tree/main/samples/sampleUffFasterRCNN
TensorflowのFaster RCNNを変換してtensorRTで実行• 使用モデルFaster RCNN
• データ準備• usbのdataを/usr/src/tensorrt/dataに上書きするとfaster-rcnnのデータがあります。

• tensorRT推論実行$ cd /home/masa/Documents/TensorRT/build/samples/sampleUffFasterRCNN/out$ ./sample_uff_fasterRCNN --datadir/home/masa/Documents/TensorRT/samples/sampleUffFasterRCNN/uff_faster_rcnn -W 480 -H
272 -I 000456.ppm

結果
推論結果が出力されます

00456.ppmの写真は、/usr/src/tensorrt/data/faster-rcnnからコピペ

all rights reserved 2022 spectrum technology co.

24入力コマンド$ cd/home/masa/Documents/TensorRT/build/samples/sampleINT8API/out$ ./sample_int8_api -model=/usr/src/tensorrt/data/resnet50/ResNet50.onnx -image=/usr/src/tensorrt/data/int8_api/airliner.ppm -reference=/usr/src/tensorrt/data/int8_api/reference_labels.txt -⑫ sampleINT8API
ranges=/usr/src/tensorrt/data/int8_api/resnet50_per_tensor_dynamhttps://github.com/NVIDIA/TensorRT/tree/main/samples/sampleINT8API
ic_range.txt

TensorRT
3.TensorRT(c++)事例

int8補正なしでint8推論、tensorRT実行• 使用モデルresnet50• データ準備• Usbのdataを/usr/src/tensorrt/dataに上書きするとresnet50のデータがあります。

• TensorRT実行$ cd /home/masa/Documents/TensorRT/build/samples/sampleINT8API/out$ ./sample_int8_api --model=/usr/src/tensorrt/data/resnet50/ResNet50.onnx -image=/usr/src/tensorrt/data/int8_api/airliner.ppm -reference=/usr/src/tensorrt/data/int8_api/reference_labels.txt -ranges=/usr/src/tensorrt/data/int8_api/resnet50_per_tensor_dynamic_range.txt

結果[01/11/2022-07:49:04] [I] SampleINT8API result: Detected:[01/11/2022-07:49:04] [I] [1] airliner[01/11/2022-07:49:04] [I] [2] warplane[01/11/2022-07:49:04] [I] [3] projectile[01/11/2022-07:49:04] [I] [4] space shuttle[01/11/2022-07:49:04] [I] [5] wing&&&& PASSED TensorRT.sample_int8_api [TensorRT v8201]

all rights reserved 2022 spectrum technology co.

オリジナル画像25

TensorRT
3.TensorRT(c++)事例

入力コマンド$ cd/home/masa/Documents/TensorRT/build/samples/sampleSSD/out$ ./sample_ssd --datadir /usr/src/tensorrt/data/ssd --fp16⑮ sampleSSD

https://github.com/NVIDIA/TensorRT/tree/main/samples/sampleSSD
Pascal vocを使って、tensorRT実行• 使用モデルvoc0712_ssd_300x300• データ準備• Usbのdataを/usr/src/tensorrt/dataに上書きするとssdのデータがあります。

• TensorRT実行$ cd /home/masa/Documents/TensorRT/build/samples/sampleSSD/out$ ./sample_ssd --datadir /usr/src/tensorrt/data/ssd --fp16

結果
Image name:/usr/src/tensorrt/data/ssd/bus.ppm, Label: car, confidence: 96.0449 xmin:
4.02832 ymin: 117.48 xmax: 244.043 ymax: 241.699&&&& PASSED TensorRT.sample_ssd [TensorRT v8201]

all rights reserved 2022 spectrum technology co.

26

入力コマンド$ cd/home/masa/Documents/torch2trt/examples/image_segmentation$ jupyter notebook

TensorRT
5.torch2trt① 画像セグメンテーション

https://github.com/NVIDIA-AI-IOT/torch2trt
PytorchのモデルをtensorRTに変換しで高速処理• usbカメラを使って画像のセグメンテーションを行います• TensorRT実行$ cd /home/masa/Documents/torch2trt/examples/image_segmentation$ jupyter notebook

conversion2.ipynbを起動
結果
背景が消えて、人物がセグメンテーション

ライブ画像がでない場合は、$ pip3 install jupyterlab

all rights reserved 2022 spectrum technology co.

27

TensorRT
5.torch2trt

入力コマンド$ cd/home/masa/Documents/torch2trt/examples/image_classification$ jupyter notebook② 画像分類https://github.com/NVIDIA-AI-IOT/torch2trt
PytorchのモデルをtensorRTに変換しで高速処理• usbカメラを使って画像の分類を行います• TensorRT実行$ cd /home/masa/Documents/torch2trt/examples/image_classification$ jupyter notebook

live_demo2.ipynbを起動
結果
検出したものをリアルタイムで、文字で表示。
他のプログラムでopencvで画像上に重ねて表示可能

all rights reserved 2022 spectrum technology co.

28