V1.0 2023/5/11

抜粋版
はじめてのステレオカメラ開発キット（ZED_Jetson版）～ＺＥＤステレオカメラを使って距離計測、物体認識、ＸＲに活用～

開発編

スペクトラム・テクノロジー株式会社
https://spectrum-tech.co.jp
sales@spectrum-tech.co.jp
all rights reserved 2023 spectrum technology co.

1

開発キット 目次• 開発キット• 接続構成• 開発キット 設定

1. Ｊｅｔｓｏｎ組立
2. Ｊｅｔｓｏｎ起動
3. Ｊｅｔｓｏｎ初期設定• ubuntu運用マニュアル

ページ
4579

• ubuntuについて• Linux基本コマンド• ubuntu基本操作• 日常運用（更新）17181920• 開発キット 全体像
1. ハード概要
2. ソフト概要
3. ステレオカメラ接続
4. カメラ設定

21
22232426
all rights reserved 2023 spectrum technology co.

抜粋版のためページと一致しません

2

開発キット 目次
5.

6.

7.

各プログラム例①
Hello zed
②
画像取得
③
深度検出
④
カメラ位置出力⑤３D地図出力
⑥
物体検出
⑦
imu出力
⑧
人物追尾

お急ぎの方は「6.各アプリ例」に進んでください

各アプリ例
①
ライブ配信
②
深度検出
③
カメラ位置出力④
物体検出（２D、３D）⑤
人物追跡⑥
3D地図生成（基本、高度）⑦
平面検出⑧
ビデオ記録（記録、再生、変換）
インテグレーション例①
Zed-Opencv②
Zed-yolo③
Pytorch
④
Ros
⑤
Unity
⑥
Matlab

ページ
2930
3132
33
35
36
37
38
40
42
43
45
46
49
51
54
56
58
59
69
78

抜粋版のためページと一致しません

Opencv:ply,pcdのファイルが点群が出力できます

Zed-yoloは、物体検知し、その距離が表示できます

参考Yolo82

all rights reserved 2023 spectrum technology co.

3

開発キット（Ｊｅｔｓｏｎ版） 接続構成
Jetson nanoＨＤＭＩ

モニタ

ＵＳＢ

ＡＣ／ＤＣ電源
５Ｖ４Ａ

インターネット接続用
Ether 又は wifi

インターネット

all rights reserved 2023 spectrum technology co.

4

開発キット設定
3. Ｊｅｔｓｏｎ初期設定② デスクトップ画面
上部アイコン説明• 左：アクティビティ• 設定、ターミナルなど• 中央：時計、通知• 右：システムモニタ、日本語入力、回線接続、スピーカ、電源

all rights reserved 2023 spectrum technology co.

5

Ubuntu運用マニュアル
3. 基本操作① 表示画面と内容主に使用するもの
・ブラウザ：Ｃｈｒｏｍｅ・フォルダ：Ｄｏｃｕｍｅｎｔｓ内に必要なファイルがあります。
・コマンド：コマンド画面を立ち上げて、python3のプログラムを動作させます。

all rights reserved 2023 spectrum technology co.

6

ステレオカメラ開発キット 全体像(ZED_Jetson版）
ハードウエアＯＳJetson nanoB01(4GB)
関連ソフト系
ZEDハードウエア
ZED2i/ZED2

ロボット系

オプションで提供します。ZED2i推奨

ゲーム（XR)系

ZED mini

プログラム言語

all rights reserved 2023 spectrum technology co.

7１．ハードウエア概要
区分
プロダクツ
ハードウエアの概要です。

メーカ

Jetson nano
開発キット
B01

nvidiacpu

ARM A57

GPU

128-core Maxwell

メモリ

4GB

マイクロSD

64GB

インタ
フェース

HDMI, USB, GPIO,DC5V

ZED2i

Video:2.2K,15fps,4416x1242p他
Depth Range:0.2 - 20 m
Depth acuuracy < 1% at 3m, < 5% at 15m
Depth FOV:110° (H) x 70° (V) x 120° (D)Lens:ƒ/1.8, focal len:2.1mm,4mm
imu内蔵、usb 3.0, 5V
大きさ：175.2 x 30.2 x 43.1 mm, 重量：230g

ZEDminiVideo:2.2K,15fps,4416x1242p他
Depth Range:0.2 - 15 m
Depth acuuracy < 1.5% at 3m, < 7% at 15m
Depth FOV:90° (H) x 60° (V) x 100° (D)Lens:ƒ/2.0
imu内蔵、usb 3.0, 5V
大きさ：124.5 x 30.5 x 26.5 mm , 重量：60g

備考

お客様準備品ステレオカ
メラ

Stereolabs

all rights reserved 2023 spectrum technology co.

弊社からの提供も可能です。

8

２．ソフトウエア概要①ソフトウエア一覧
区分

ソフト名バージョン

OSubuntu

18.04 LTS

L4t-core

32.7

GPU用

cuDNN

8.2+cuda10.2

プログラム言語

Python3
Python2
C++

3.6.9
2.7
7.5

ステレオカメラ関係

ZED SDK

V3.8.2

Zed-yolo

V3,v4

ROS

melodic

Pytorch, torchvision

V1.10, v0.11

opencv

4.1

unity

V3.6

Zed unity plugin

V3.6

数値解析、グラフ

Matlab
Zed-matlab

R2023aV3.8

各種アプリ

Depth sensing, position
tracking, object detectionなど多数
all rights reserved 2023 spectrum technology co.

ゲーム関係（XR）

備考

Jetsonは未対応、windowsで実施
jetsonは未対応、Ubuntu(amd64)で実施

9

３．ステレオカメラ接続

コマンド入力$ lsusb$ cd /usr/local/zed/tools$ ./ZED_Diagnostic$ cd /usr/local/zed/tools$ ./ZED_Explorer$ ./ZED_Depth_Viewer① ZED2i接続

https://www.stereolabs.com/docs/get-started-with-zed/
添付のUSB3.0ケーブルでjetson USBポートに接続
A) 接続診断
Camera testでエラー
lsusb
cd /usr/local/zed/tools./ZED_Diagnosticになるが他のテストはok,不明

B) テスト
cd /usr/local/zed/tools./ZED_Explorer
通常カメラ表示./ZED_Depth_Viewer 深度表示

左右のカメラのidが表示

all rights reserved 2023 spectrum technology co.

10

３．ステレオカメラ接続① ZED2i接続

https://www.stereolabs.com/docs/get-started-with-zed/
添付のUSB3.0ケーブルでjetson USBポートに接続
A) 接続診断コマンド入力$ lsusb$ cd /usr/local/zed/tools$ ./ZED_Diagnostic$ cd /usr/local/zed/tools$ ./ZED_Explorer$ ./ZED_Depth_Viewer

品質切替：usb2.0のケーブルを使うと２ｋは表示されません

cd /usr/local/zed/tools./ZED_DiagnosticB) テスト
cd /usr/local/zed/tools./ZED_Explorer
通常カメラ表示./ZED_Depth_Viewer 深度表示

録画、再生なども可能

all rights reserved 2023 spectrum technology co.

11

５．各プログラム例① Hello zed

コマンド入力$ cd/usr/local/zed/samples/tutorials/tutorial1_hello_Z
ED/cpp/build$ ./ZED_Tutorial_1$ cd/usr/local/zed/samples/tutorials/tutorial1_hello_Z
ED/python$ python3 hello_zed.py

https://www.stereolabs.com/docs/tutorials/hello-zed/
zed製品のシリアル番号を検出
A) C++
cd /usr/local/zed/samples/tutorials/tutorial1_hello_ZED/cpp/build./ZED_Tutorial_1
出力Hello! This is my serial number: 36718602

B) Python

cd /usr/local/zed/samples/tutorials/tutorial1_hello_ZED/python
python3 hello_zed.py
出力
Hello! This is my serial number: 36718602

Python3で全て実施のこと

Usr/local/zedにzed-sdkをインストール

all rights reserved 2023 spectrum technology co.

12

５．各プログラム例⑤ 3D地図出力

コマンド入力$ cd/usr/local/zed/samples/tutorials/tutorial5_spatial_mapping/cpp/build$ ./ZED_Tutorial_5$ cd/usr/local/zed/samples/tutorials/tutorial5_spatial_mapping/python$ python3 spatial_mapping.py

https://www.stereolabs.com/docs/tutorials/spatial-mapping/
3D地図を出力（objファイル）C) objファイルの確認方法
Cloudcompareをダウンロードし、windows等にインストール。Jetsonは未対応
C++:mesh.obj
low:8cmの点群、時間ごとにはでない。１回分のみ
Python:fpc.obj
medium:5cmの点群

all rights reserved 2023 spectrum technology co.

点群の設定方法は、
こちらへ、最小は、2cm(high), lidar程の解像度はない

13コマンド入力$ cd/usr/local/zed/samples/camera_streaming/sender/python$ python3 streaming_sender.py$ cd/usr/local/zed/samples/camera_streaming/receiv
er/python$ python3 streaming_receiver.py 192.168.1.58

６．各アプリ例① ライブ配信

https://github.com/stereolabs/zed-sdk/tree/master/camera%20streaming
ステレオカメラのライブ配信例です。
A) C++
B) Pythonsender
cd /usr/local/zed/samples/camera_streaming/sender/python
python3 streaming_sender.py
receivercd /usr/local/zed/samples/camera_streaming/receiver/python
python3 streaming_receiver.py 192.168.1.58

all rights reserved 2023 spectrum technology co.

Ip addrは、送信側のifconfigを調べて、指定。
port番号は不要

14

コマンド入力$ cd/usr/local/zed/samples/depth_sensing/cpp/build$ ./ZED_Depth_Sensing$ cd/usr/local/zed/samples/depth_sensing/python$ python3 depth_sensing.py

６．各アプリ例② 深度検出

https://github.com/stereolabs/zed-sdk/tree/master/depth%20sensing
深度を検出し、画像を出力。
A) C++
cd /usr/local/zed/samples/depth_sensing/cpp/build./ZED_Depth_Sensing 通常の画像、不明

B) Python

cd /usr/local/zed/samples/depth_sensing/python
python3 depth_sensing.py
等高線がでる

all rights reserved 2023 spectrum technology co.

15コマンド入力$ cd/usr/local/zed/samples/positional_tracking/cpp/build$ ./ZED_Positional_Tracking$ cd/usr/local/zed/samples/positional_tracking/python$ python3 positional_tracking.py

６．各アプリ例③ カメラ位置出力

https://github.com/stereolabs/zed-sdk/tree/master/positional%20tracking
カメラの位置（imu)を出力。
A) C++
cd /usr/local/zed/samples/positional_tracking/cpp/build./ZED_Positional_Tracking
imuの軌跡が表示

B) Python

cd /usr/local/zed/samples/positional_tracking/python
python3 positional_tracking.py

all rights reserved 2023 spectrum technology co.

16コマンド入力$ cd/usr/local/zed/samples/object_detection/image_v
iewer/cpp/build$ ./ZED_Object_detection_image_viewer$ cd/usr/local/zed/samples/object_detection/image_v
iewer/python$ python3 object_detection_image_viewer.py

６．各アプリ例④ 物体検出（２D）https://github.com/stereolabs/zed-sdk/tree/master/object%20detection
人物、車を検出して、出力。
A) C++
cd /usr/local/zed/samples/object_detection/image_viewer/cpp/build./ZED_Object_detection_image_viewer
人物を検出すると画面上で四角に囲み色をつけますB) Python

cd /usr/local/zed/samples/object_detection/image_viewer/python
python3 object_detection_image_viewer.py

all rights reserved 2023 spectrum technology co.

17

コマンド入力$ cd/usr/local/zed/samples/body_tracking/cpp/build$ ./ZED_Body_Tracking_Viewer$ cd/usr/local/zed/samples/body_tracking/python$ python3 body_tracking.py

６．各アプリ例⑤ 人物追跡https://github.com/stereolabs/zed-sdk/tree/master/body%20tracking
人物のモーションを検出して、追跡します。
A) C++
cd /usr/local/zed/samples/body_tracking/cpp/build./ZED_Body_Tracking_Viewer
人物の骨格とモーションを検出して、２画面で出力B) Python
cd /usr/local/zed/samples/body_tracking/python
python3 body_tracking.py

all rights reserved 2023 spectrum technology co.

18

コマンド入力$ cd/usr/local/zed/samples/spatial_mapping/advanced_point_cloud_mapping/cpp/build$ ./ZED_Point_Cloud_Mapping

６．各アプリ例⑥ 3D地図生成（高度）https://github.com/stereolabs/zed-sdk/tree/master/spatial%20mapping
3D地図を表示し、記録します。
A) C++
cd /usr/local/zed/samples/spatial_mapping/advanced_point_cloud_mapping/cpp/build./ZED_Point_Cloud_Mapping
映像と点群(imu含む）が表示される。保存方法は不明

all rights reserved 2023 spectrum technology co.

19コマンド入力$ cd/usr/local/zed/samples/svo_recording/playback/cpp/build$ ./ZED_SVO_Playback test0404.svo$ cd/usr/local/zed/samples/svo_recording/playback/python$ python3 svo_playback.py test0404.svo

６．各アプリ例⑧ ビデオ記録（再生）https://github.com/stereolabs/zed-sdk/tree/master/recording
ビデオ（SVOファイル）の記録、再生、エキスポート。
A) C++

cd /usr/local/zed/samples/svo_recording/playback/cpp/build./ZED_SVO_Playback test0404.svo
先ほど録画した画像、２画面表示、ファイルは移動のことB) Python
cd /usr/local/zed/samples/svo_recording/playback/python
python3 svo_playback.py test0404.svo
先ほど録画した画像、１画面表示

all rights reserved 2023 spectrum technology co.

画面の大きさはプ
ログラムで調整か？

20

７．インテグレーション例

コマンド入力$ cd /home/nano/Documents/stereo_cam/zedopencv/cpp/build$ ./ZED_with_OpenCV$ cd /home/nano/Documents/stereo_cam/zedopencv/python$ python3 zed-opencv.py① Zed-Opencv

https://github.com/stereolabs/zed-opencv
画像処理で必須のOpencvとの連携例。
A) C++
cd /home/nano/Documents/stereo_cam/zed-opencv/cpp/build./ZED_with_OpenCVB) Python
cd /home/nano/Documents/stereo_cam/zed-opencv/python
python3 zed-opencv.py

Cloud_1.plyは、cloudcompare表示できます。
objファイルよりもデータ量が多い点群になります。

C) 出力ファイル
Image(s), depth(d), point cloud(p),point cloud format(m)の画像とデータが出力押下時
フォーマットは、ply(default),pcd,vtx,xyzをmで選択

all rights reserved 2023 spectrum technology co.

( )内のキーを21

７．インテグレーション例

コマンド入力$ cd /home/nano/Documents/stereo_cam/zedyolo/libdarknet$ python3 darknet_zed.py -c cfg/yolov3.cfg -w
yolov3.weights -m cfg/coco.data -t 0.5② Zed-yolo

https://www.stereolabs.com/docs/yolo/
Darknetで有名なyoloによる物体認識とzedカメラよる距離表示例。
A) Yolov3

yolov4もweithts, cfgを変えれば動作します。

ライブカメラcd /home/nano/Documents/stereo_cam/zed-yolo/libdarknet
python3 darknet_zed.py -c cfg/yolov3.cfg -w yolov3.weights -m cfg/coco.data -t 0.5
認識した物体（80カテゴリ）と距離が画面表示、端末には、認識の確率がでます。

Jetson nanoはfps=2と遅い、高速化には、別のgpuが要。Rtx3080は、fps=50位

all rights reserved 2023 spectrum technology co.

22コマンド入力$ source/home/nano/Documents/catkin_ws/devel/setup.bash$ roslaunch zed_wrapper zed2i.launch$ rostopic list
$ roslaunch zed_display_rviz display_zed2i.launch

７．インテグレーション例④ ros

https://www.stereolabs.com/docs/ros/
Ros(robot operating system)は、ロボット、センサなどの制御、可視化に幅広く利用されます。Rosのmelodicをインストールしています。事例もたくさんあります。
A) 起動
source /home/nano/Documents/catkin_ws/devel/setup.bash

各端末毎に実施B) テストroslaunch zed_wrapper zed2i.launch
別カメラの場合https://www.stereolabs.com/docs/ros/zed-node/rostopic list 動作中のtopic表示
roslaunch zed_display_rviz display_zed2i.launchrviz表示all rights reserved 2023 spectrum technology co.

23

コマンド入力$ source/home/nano/Documents/catkin_ws/devel/setup.bash$ roslaunch zed_sensors_sub_tutorial
plot_sensors_zed2i.launch

７．インテグレーション例④ ros

https://www.stereolabs.com/docs/ros/
Ros(robot operating system)は、ロボット、センサなどの制御、可視化に幅広く利用されます。Rosのmelodicをインストールしています。事例もたくさんあります。
A) 起動
source /home/nano/Documents/catkin_ws/devel/setup.bash

各端末毎に実施K) imuデータ収集、表示
roslaunch zed_sensors_sub_tutorial plot_sensors_zed2i.launch
Plotjugglerが起動
使い方
トピックの例えばimu>data>..>xを右のグラフにドラッググラフ追加は、グラフ内の右上で分割を選んで追加

all rights reserved 2023 spectrum technology co.

24

７．インテグレーション例⑤ unityhttps://www.stereolabs.com/docs/unity/
ゲーム、AR/MRの開発言語であるunityとの連携事例。Jetson（arm64)で動作しないため、windows版で説明します。
C) 事例
a.

Bodytraking(skelton)
https://www.stereolabs.com/docs/unity/body-tracking/zedカメラを使って、人体のスケルトン像を表示
設定
unityhub>New project:3D coreを選択し、mybodytrackなどのプロジェクト名で作成
Assetsにzed-unity-3.6.4などをドラッグしてインポート
Assets/zed-unity-3.6.4/ZEDCamera/Assets/ZED/Examples/SkeletonTracking/Scene/
上記のskelton demoをダブルクリックして、hierarchyのsceneに設定
起動
上のアイコンのrunで動作確認

all rights reserved 2023 spectrum technology co.

25

７．インテグレーション例⑤ unityhttps://www.stereolabs.com/docs/unity/
ゲーム、AR/MRの開発言語であるunityとの連携事例。Jetson（arm64)で動作しないため、windows版で説明します。
C) 事例
b.

firstMRhttps://www.stereolabs.com/docs/unity/creating-mixed-reality-app/
zedカメラを使って、ライブ映像に風船を合成して表示
設定
unityhub>New project:3D coreを選択し、myfirstMRなどのプロジェクト名で作成
Assetsにzed-unity-3.6.4などをドラッグしてインポート
Assets/zed-unity-3.6.4/ZEDCamera/Assets/ZED/Examples/SimpleMR/Scenes上記のsimpleMRをダブルクリックして、hierarchyのsceneに設定
起動
上のアイコンのrunで動作確認

all rights reserved 2023 spectrum technology co.

26

７．インテグレーション例⑤ unityhttps://www.stereolabs.com/docs/unity/
ゲーム、AR/MRの開発言語であるunityとの連携事例。Jetson（arm64)で動作しないため、windows版で説明します。
C) 事例
d.

3rd person
https://www.stereolabs.com/docs/unity/samples/
https://blog.unity.com/ja/games/say-hello-to-the-new-starter-asset-packages?_fsi=qZ3x3u4D
ゲームのようにロボットを動かします、カメラの連携はありません。
設定unityhub>New project:3rd personを選択し、my3rdpersonなどのプロジェクト名で作成
起動
上のアイコンのrunで動作確認
マウスで角度、拡大縮小
矢印で移動
スペースでジャンプ

all rights reserved 2023 spectrum technology co.

27

７．インテグレーション例

コマンド入力$ cd /usr/local/MATLAB/R2023a/bin$ ./matlab>/home/masa/Documents/stereo_cam/zedmatlab/matlab>ZED_Camera.m⑥ matlabhttps://www.stereolabs.com/docs/matlab/
学術計算で有名なmatlabを使ってグラフなどを表示します。Jetson nano（arm64)にはインストールできません、ubuntu18.04(amd64)での結果です。インストール方法は、上記のurlを参照に実施してください。
windows版はエラー多発でお勧めしません
A) インストールB) 起動
matlab起動
cd /usr/local/MATLAB/R2023a/bin./matlab
各プログラムを停止後、再度起動
するとエラー。不明。./matlabから
カメラ起動
再起動のことMatlab内で開く/home/masa/Documents/stereo_cam/zed-matlab/matlab●ZED_DepthSensing.m▲ZED_Mapping.m カメラ表示のみ、動かし方不明▲ZED_ObjectDetection.m 画面がポップアップしない。不明●ZED_PointCloud.m●ZED_Sensors.m imuグラフ●ZED_Tracking.m imu軌跡と映像●ZED_Recording.m

all rights reserved 2023 spectrum technology co.

28