Orbbec の３Dカメラについて調査中

## はじめに

[OrbbecがNVIDIA GTC 2024でMicrosoft Azure Kinect DKの代替製品を展示](https://jp.prnasia.com/story/109450-3.shtml)　などの記事が気になっていたので、Orbbec の製品をweb上で調査することとした。


## 日本の代理店情報から
[Orbbec Gemini シリーズ | コンパクト 高精度 ステレオカメラ](https://www.unipos.net/find/product_item.php?id=3908)


![Screenshot from 2024-06-28 14-52-46.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/1e606fe3-987e-3b7c-e196-d449fa5be138.png)

## Orbbec のカメラの方式がいくつもある
![Screenshot from 2024-06-28 21-49-53.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/8c152348-50b5-1625-5b01-3355c1f5efdc.png)
https://www.orbbec.com/products/

#### Stereo Camera の1例
https://www.orbbec.com/products/stereo-vision-camera/gemini-336/

![Screenshot from 2024-06-28 22-18-24.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/cbfd853d-18af-4906-33c4-7e821ad0c714.png)

![Screenshot from 2024-06-28 22-16-50.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/638654a4-89f3-60b0-22df-a79007f3d57d.png)

![Screenshot from 2024-06-28 15-49-08.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/5ea335fa-debe-4fbc-e67c-16d44b55c68d.png)

https://www.orbbec.com/products/stereo-vision-camera/gemini-2/

- Depth Range が 0.15 m ~ 10 m と距離の範囲が広い。
- trigger信号をサポートしているので、複数のセンサでタイミングを合わせることもしやすい。


![Screenshot from 2024-06-28 15-04-49.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/ac4484ec-9998-1cf3-0e93-4c9ad02e919d.png)

Ubuntu PC, Nvidia Jetson AGX Orin 両方で動作する。

#### TOF カメラの1例
https://www.orbbec.com/products/tof-camera/femto-bolt/

![Screenshot from 2024-06-29 00-38-45.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/288fb5d7-8efe-46fb-5869-10ebcbe1b626.png)
![Screenshot from 2024-06-29 00-38-53.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/858f0f3b-d268-0120-0a52-20bc2b2ce563.png)

![Screenshot from 2024-07-01 15-55-56.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/f5ee3675-f46b-e28a-de99-16f5449b1f69.png)

NFOV (Narrow Field of View depth mode)
WFOV (Wide Field of View depth mode)
の２つのモードの関係が気になる。
モードの切り替えをするのだろうか？
#### 重箱の隅： depth センサとRGBカメラの視点位置の違い
- Depth センサの視点位置とRGBカメラの視点位置は一般に異なる。
- depthが大きい領域だったら、視点位置の違いの影響は無視できるだろう。
- しかし、近接側の限界近くの場合、視点位置の違いがどれくらい影響するのかが気になる。
- RGB画像のセグメンテーションに対応する（はずの）画素をdepth画像から取得すると不一定が目立つのではないかと予想する。


#### Structured Light Cameraの1例
https://www.orbbec.com/products/structured-light-camera/astra-2/

![Screenshot from 2024-06-29 11-38-44.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/f523adec-2d83-0a91-5313-e0743d9543a2.png)
![Screenshot from 2024-06-29 11-38-52.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/0deb4909-a271-be5d-b5e4-ec432569ae0e.png)

## OrbbecSDK
https://github.com/orbbec/OrbbecSDK


## ROS2対応
https://github.com/orbbec/OrbbecSDK_ROS2

## NVIDIA との連携
NVIDIA のサイトにあるシミュレーション可能なRGBDセンサにorbbec のカメラが入っている。

https://docs.omniverse.nvidia.com/isaacsim/latest/features/environment_setup/assets/usd_assets_sensors.html#orbbec-gemini-2-certified-by-orbbec

## ドキュメントの1例
https://www.orbbec.com/documentation/femto-bolt-hardware-specifications/

- 外形の図面をきちんと載せている。
- housing fixing screw holes もある。
- もちろん、IMUもある。
- この品番だとWFOVとNFOVの２つのdepthがある。
- 「Multi-camera sync cable (does not affect power indicator state)」がある。

#### [Orbbec Community Forum](https://3dclub.orbbec3d.com/c/technical-support-q-a/11)
最近の気の利いた会社だと、Community Forumを設置していて、質問したい課題などを記入できるようになっている。そこに同じような事例がないか、解決策を見つけるための重要な場所である。
Orbbecの場合もそのような場所がある。

## orbbecを使ったロボットの例
Astribot S1
https://x.com/Orbbec/status/1784118749957669117

[2024.05.16新製品のリリース情報
Orbbec社製、次世代ステレオカメラ「Gemini 335」および「Gemini 335L」の取り扱いを開始](https://www.ask-corp.jp/news/2024/05/orbbec-gemini-335-335l.html)