Deepstream SDK
アプリ一覧 その１ 基本id

deepstream版
python
番号は、目次●1

区分

アプリ名概要1物体認識

deepstream-test1

2物体認識

deepstream-test2

3物体認識

deepstream-test3

4usbcamdeepstream-test1-usbcam

5rtsp

deepstream-test1-rtsp-out

物体識別は、single H.264 stream: filesrc → decode → nvstreammux → nvinfer (primarydetector) → nvdsosd → rendererの順で実施
物体識別は、single H.264 stream: filesrc → decode → nvstreammux → nvinfer (primarydetector) → nvtracker → nvinfer (secondary classifier) → nvdsosd → rendererの順で実施。2 ●2
段階識別
物体識別は、 single H.264 stream: filesrc → decode → nvstreammux → nvinfer (primary●3detector) → nvdsosd → rendererの順で実施。複数ファイルを同時処理
物体識別は、single H.264 stream: filesrc → decode → nvstreammux → nvinfer (primary●4detector) → nvdsosd → rendererの順で実施。Test1のusbcameraのバージョン
物体識別は、single H.264 stream: filesrc → decode → nvstreammux → nvinfer (primarydetector) → nvdsosd → rendererの順で実施。Test1のrtspのバージョン●56rtsp
7物体認識

物体識別は、single H.264 stream: filesrc → decode → nvstreammux → nvinfer (primarydeepstream-imagedata-multistream detector) → nvdsosd → rendererの順で実施。Test3の複数画面のバージョン
物体識別は、single H.264 stream: filesrc → decode → nvstreammux → nvinfer (primarydeepstream-ssd-parserdetector) → nvdsosd → rendererの順で実施。tritonサーバを使って推論

8光の流れ

deepstream-opticalflow

9

セグメンテーション
10動線
11動画編集12物体認識deepstream版
c++
番号は目次
●1
●2

使用モデル
resnet10.caffemodel
resnet10.caffemodel
resnet10.caffemodel
resnet10.caffemodel
resnet10.caffemodel
resnet10.caffemodel●6

ssd model
nvofvisual gstreamer
pluginnvinfer▲7エラー●5

nvofvisual gstreamer pluginを使って、光の流れに変換●8●9deepstream-segmentationindustrial,semanticの2つパターンを使って、物体をセグメンテーション

●9

●12
●18

13rtsp14物体認識deepstream-nvdsanalytics
runtime_source_add_delete
deepstream-imagedatamultistream-redaction
deepstream-rtsp-in-rtsp-out
deepstream-app

動きの方向を分析●10
nvstreammux -> nvinfer -> nvtracker -> nvtiler -> nvvideoconvert-> nvdsosd -> displaysink、●11
動画を加えたり、削除したりして表示

汎用モデル、カメラ、ビデオによる物体認識●3,4

15物体認識objectDetector_FasterRCNN

物体識別は、 FasterRCNNによる識別●616物体認識17物体認識18メタデータ
19物体認識20メタデータ
21メタデータ
22物体認識23物体認識24物体認識25物体認識26メタデータ
27物体認識28物体認識セグメンテー
29ション

物体識別は、 Yolov3, yolov3_tinyによる識別objectDetector_Yolo
物体識別は、 ３６０度カメラ対応、ｃｓｖ出力による識別deepstream-dewarper-test
１６byteのメタデータを出力
deepstream-user-metadata-test
mjpegの物体認識
deepstream-image-decode-test
Gst-nvstreammux pluginを使って、メタデータを出力
deepstream-gst-metadata-test
deepstream-infer-tensor-meta-app nvinfer tensor を、メタデータとして出力
single channel cascadeと二次認識のデモ
deepstream-perf-demo
画面を分割して試験
deepstream-preprocess-test
deepstream-3d-action-recognition 3d,2dでの物体認識
opencvを使った物体認識、認識するとぼかしが入る
deepstream-opencv-test
meta dataを検出し、検出部分をjpegで保存
deepstream-image-meta-test
AppSrc and AppSink 利用し、i420で出力
deepstream-appsrc-test
deepstream-transfer-learning-app 転移学習を行い、正解率の低いものを抽出

●7
●8
●10
●11
●13
●14▲15エラー●16▲17エラー
●19
●20
●21
●22

nvinferresnet_int8
VGG16_faster_rcnn_fi
nal.caffemodel
yolo
不明
resnet10.caffemodel
resnet10.caffemodel
resnet10.caffemodel
resnet10.caffemodel
resnet10.caffemodel
resnet10.caffemodel
resnet18
resnet10.caffemodel
resnet10.caffemodel
resnet10.caffemodel
resnet10.caffemodel

deepstream-mrcnn-test▲23未実施resnet10.caffemodel

mp4の複数をh264変換しストリーム、顔を検出して、ぼかしを入れる
ファイルをストリームして、ｖｌｃでモニタする

mask rcnnを使用したセグメンテーション

all rights reserved 2022 spectrum technology co.

resnet10.caffemodel
nvstreammux

●12
●13

Deepstream SDK

アプリ一覧 その２ tao連携
id

区分

アプリ名

1物体検出

DetectNet_V2

2

FasterRCNN

3

SSD

4
5

YOLOV3YOLOV46

yolo_v4_tiny

7RetinaNet8
efficientdet
9DSSD
10セグメンテーション MaskRCNN
11
UNET
12個別事例
action_recognition_net
13
bpnet
14
image_classification
15
emotionnet
16
facenet17
fpenet18
gazenet19
gesturenet
20
heartratenet
21
lprnet22multitask_classification23
dashcamnet
24
FaceDetectIR
25
VehicleMakeNet
26
vehicletypenet
27
PeopleNet-ResNet34
28
TrafficCamNet
29
LPD
30
Facial Landmark
31
PeopleSegNet
32
People Semantic Segmentation
33
2D Body Pose Estimation
34
imagedata-multistream

概要

tao版

車、バン、トラック、歩行者、サイクリストのデータからresnet18の学習モデルを使って、検出対象を３個（車、サイクリスト、歩行者）に絞り、学習モデルを作成。その後、prune, 量子化などを使い、最終的にtensorRT用のモデルとし ●て出力。Taoで最初に使ったモデルに比べて、12倍に高速化し、正解率もほぼ同じを実現
同上のデータセット、事前学習モデルで、Faster RCNNモデルで学習する。正
●解率は、高いが、処理が遅い
SSD（single shot detector)は、画像中の物体を単一のディープニューラルネッ
トワークで検出する。一般には、認識精度も高く高速といわれているが？結 ●果は、反対。
darknetで有名なyolo、高速認識が売り●
darknetで有名なyolo、高速認識が売り、新たな開発者が担当●
darknetで有名なyolo、高速認識が売り、新たな開発者が担当、小型モデル●版（軽い）
一般的には、２段階で検出していたものを、速度を維持したままで、精度が高●
い一段階検出モデルができないかと考え、RetinaNetが発表されました
efficient detを使った物体認識●
deconvolutional single shot detector(DSSD)●
物体のセグメンテーションして、背景をマスクする。
▲エラー
医療系の画像を使って、血管などをセグメンテーションする●ビデオから行動認識を行います▲エラー
body pose netは、からだの目、耳、手首などの位置を検出します。
●
物体の検出します
●
感情分類
●
顔検出
●
顔の部位検出●顔から視線を推測●
指の動作を検出●
心電図による推測▲データ未入手
ナンバープレートの文字認識●
ファッション用品の分類●
車種、メーカ名などを識別
顔識別
車種、メーカの認識
車種の認識：クーペ、suv,ban
人認識：deepstreamer使用
車両認識：deepstreamer使用
ナンバープレート検出
顔の細部の位置を認識
人体セグメンテーション
人体セグメンテーション
all rights reserved 2022 spectrum technology co.
２D人体のポーズ認識
２画面ストリーミング

deepstream版
先頭数字は、目次、二つ目が細分
●5_7

●3_6
●3_5
●3_7

deepstream版のエラーは、 engine生成の問題。Taoconverterのエラー
不明●5_6▲3_17エラー▲5_8エラー▲5_3エラー▲5_4エラー▲5_5エラー▲4_8エラー
●4_3
●4_4
●4_5
●4_6
●4_2
●4_1
▲4_7エラー
●5_2
●5_9
●5_10
●5_1
●2_12