市販ＴoＦカメラについて調査中(2023年版）

以下の記事は素人が書いているものであり、勘違いや引用間違いがあるはずです。
各人は、カメラの提供元などに確認してほしい。

ToFカメラには、提供の状況について階層がある。

## ToF Imageセンサの提供の階層
１．USBなどの標準的なインタフェースが用意されているもの

 - USB以外のインターフェース
    GigEインタフェース（M12接続のEthernetポート）を持つものがある。
GigEインタフェースは、産業用のカメラで使われることがある。
USBのケーブルは、そのままでは十分に固定されていないことが多く、ちょっとした衝撃で抜けてしまうのは対策をとっておきたい。

２．MIPIなど回路に近い階層で用意されているもの
- この階層では、対象とするボードにMIPIのコネクタがあること。
- MIPIで接続されたデバイスをOSで認識できるようにすること。
- この部分の作業が自力でできないときは、カメラのドライバー開発をしている業者にコンタクトをとろう。

３．ToF Image Sensor　それ自体のパッケージ。
- この階層で作業をすることは、カメラ開発メーカーに所属しているのでない限りおすすめしない。
- この階層を知っていると、どのセンサーメーカーがどのような方式で提供しているのかという状況を把握できる。
- 同じセンサーを用いているのは、どの製品とどの製品なのかがわかれば、性能についてのヒントを得られるだろう。

## ToF　Image センサの信号強度の距離依存性
- ToFでは、投射光を受光するまでの飛行時間(time of flight)を測定する。そのため、投射光が反射して返っている際には、距離の４乗で減衰する（はずだ）。
- そのため、ある距離をすぎると、反射光の検出限界を下回ってしまって、距離が得られなくなる。
- ある種のToF Image sensorでは、微弱な光を増幅するために、アバランシェフォトダイオード（APD）画素を用いたりしている。
#### 屋外対応の有無
また、屋外では、太陽光に含まれる近赤外光に埋もれて、反射光が検出できなくなってしまうという制約がある。
ToFカメラでも屋外対応のものがあり、940nm光を利用している。
LUCID, Vzense に屋外対応機種がある。

###### 屋外対応のToFに940nmが使われる理由
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/e13f3d5b-c62a-43c3-b7d5-a2ab4d46ee6a.png)

[引用元](https://www.seric.co.jp/column/12-2/)

「水蒸気（H2O）によって820nm付近、860nm付近、940nm付近などいくつかの波長帯で減衰が見られます。」


## TOFカメラについていてほしいもの
- IMU(慣性計測装置)
- タイマー
取得した点群からカメラの姿勢の変動分をキャンセルするためには、IMUが必須になります。
画像データは、画像処理や画像認識の処理時間のため、得られる結果は遅延をもったものになります。
その得られた結果がどの時点のものなのかを知るためには、時刻情報が必要で、画像や認識結果がその時刻に紐付けられていることが大事になります。

## 接続先のPCボートの種類・OSの種類
- それが、どのようなコンピュータに接続できるか、またそのOSの種類はどうなのかというのも確認しよう。
- USBポートやEtherのポートだったら、x86系のCPUボード、Arm系のCPUボードにはある。
- しかし、そのボードのその対象OSで、そのカメラデバイスを認識できるかどうかはわからない。
- ぜひ、提供元に質問することだ。

# ToFカメラの一例
## Uctronics
Yotube [Time of Flight (ToF) Camera for Raspberry Pi](https://www.youtube.com/watch?app=desktop&v=pu9bSo-b11A)

[Raspberry Pi用ToFカメラ](https://www.switch-science.com/products/8731)

> Raspberry PiまたはNvidiaのJetson用に特化した設計のMIPI-CSI2接続のToFカメラで、4 mまでの範囲を2 cm未満の高精度で測距できます。
特徴
リアルタイム点群(Point Cloud)、depth map生成
解像度 : 240 x 180 @30 fps（Raspberry Pi 4 / CM 4接続時）
最大4 mの測距範囲
940 nmレーザ搭載により外部光源不要
V4L2ベースのカーネル
C/C++/Python SDK
外形寸法 : 38 x 38 mm

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/8f5fdc96-87a4-e2a8-abba-d4a2960a13cf.png)

Raspberry PI 用のTOFカメラの関連記事
https://fabcross.jp/news/2022/20220912_tof_camara_for_raspberrypi.html
https://www.arducam.com/time-of-flight-camera-raspberry-pi/

<iframe width="560" height="315" src="https://www.youtube.com/embed/zYjBOElZYvQ?si=Yp9J3LxciCTl_-By" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>


## アナログデバイセズ　もしくは CIS
#### マクニカ　アナログデバイセズ　ADDI9036 
Yotube [アプリケーションの開発を加速するToFカメラモジュール](https://www.youtube.com/watch?v=D73kEXX9yZg)
[深度を測定することで3次元データを取得できるToFカメラ開発プラットフォーム DCC-RGBD1](https://www.macnica.co.jp/business/semiconductor/articles/analog_devices/136049/)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/1ab2057f-99ff-bc7e-df4e-416bafcbf378.png)
品番 DCC-RGBD1

> YUV + D (Depth+IR) data are synchronized to be output
Wide depth range (15cm to 5m) with less than 2% of deviation ratio.
Two lights laser diode with wave length 850nm are used. (indoor use only)
ROS driver package is available.

![Screenshot from 2023-12-25 10-40-23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/29b3990d-19f2-3997-25a1-0e8ac0e00a30.png)

#### CIS
Youtube [CIS社 30万画素 ToF 小型AIスマートカメラ　SCM1-ToF1](https://www.youtube.com/watch?v=kU-GB9TJUDg)

pdf 資料
https://www.ciscorp.co.jp/product/pdf/ceatec.pdf

これも　DCC-RGBD1　であって、同一のモジュールが複数のルートで販売されているように見える。

## LUCID Vision Labs
Youtube [Helios2 Time of Flight (ToF) 3D Camera - IP67, Sub-Millimeter Precision](https://www.youtube.com/watch?v=q0yDemlFf0U)

![Screenshot from 2023-11-29 22-18-56.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/2a8f1e01-0030-79a6-d82c-c399cc8ad1b2.png)
![Screenshot from 2023-12-07 16-14-47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/861bea80-99b6-20aa-cd1b-be777f718f27.png)
[引用元](https://thinklucid.com/ja/helios-time-of-flight-tof-camera/)


このカメラは、産業カメラ品質をめざしたToFカメラと言っていいのではないかと思います。

M12 Gigabit Ethernet Port を使って接続します。
GigEです。

LUCID の代理店は複数あります。
マイクロ・テクニカ
日本エレクトロセンサリデバイス株式会社
株式会社レスターコミュニケーションズ
レスターエレクトロニクス
エドモンド・オプティクス


## e-con Systems
Youtube [Robotic ARM demo using Time-of-Flight (ToF) Camera | DepthVista | e-con Systems](https://www.youtube.com/watch?v=MJ8ls50wQN4)
[DepthVista_MIPI_IRD - NVIDIA Jetson AGX Orin / AGX Xavier用3D ToFカメラ](https://www.e-consystems.com/jp/3d-depth-cameras/tof-cameras/3d-mipi-tof-camera-nvidia-jetson-agx-orin-xavier-jp.asp)

> 3D 深度と IR イメージングの両方をストリーミング
屋外/屋内用途に最適
ハードウェア トリガー
NVIDIA Jetson AGX Orin/Xavier 開発キットにプラグイン
最大 3 台のカメラをサポートするマルチカメラ (干渉なし)
最大深度範囲 8.5m (デフォルトでは 6m)
MIPI CSI 2 

>サンプル価格　USD 549

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/41fe94b5-9503-48eb-e5ad-0972c156b8e2.png)

写真では、NVIDIA Jetson AGX Orinに接続した例を示しています。

## XVISIO
ToF カメラであると同時にFisheyカメラ２台を持ち、stereo depthを計算するengineを持つ。
ほかにRGBカメラも持つ。
![Screenshot from 2023-12-18 00-15-40.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/fd2cf3d4-db9b-8bdd-5b46-ead50fe8cc3d.png)
[引用元](https://www.xvisiotech.com/product-center/#classic-module)
https://www.xvisiotech.com/product-center/
https://www.xvisiotech.com/product/seersense-ds80/
## Xvisio DS80
[Xvisio DS80](https://www.mouser.jp/new/xvisio/xvisio-seersense-ds80-module/)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/3417959d-49a8-ae4a-3495-f680a00adbe9.png)
![Screenshot from 2023-12-18 13-47-33.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/bcc21307-38a4-6104-b547-512266670fe9.png)
[引用元](https://www.mouser.jp/new/xvisio/xvisio-seersense-ds80-module/)
![Screenshot from 2023-12-18 13-52-34.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/d5ad4c99-23de-c22c-24c8-1ed0d7c93f8a.png)

[引用元 Xvisio DS80 Data Sheet](https://www.mouser.jp/pdfDocs/SeerSenseDS80Module-EN.pdf)


[Xvisio DS80 buy](https://www.mouser.jp/ProductDetail/Xvisio/DS80?qs=T%252BzbugeAwjiHXY1tYb5LFw%3D%3D)



## XVisio XR59
[Xvisio XR59](https://www.mouser.jp/new/xvisio/xvisio-seersense-xr50-module/)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/f1239ae2-1d05-bf0a-2a35-37bff063cf2c.png)

これは基線長 50 mm のステレオカメラ。
ToFセンサはない。

![Screenshot from 2023-12-18 13-57-32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/cade2709-6738-537c-5431-04983a8ff241.png)

![Screenshot from 2023-12-18 14-00-17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/88cc1a4b-2355-038f-2e05-97cc740df63b.png)
[引用元 Xvisio XR59 Data Sheet](https://www.mouser.jp/pdfDocs/SeerSenseXR50Module.pdf)


ここに書いてあるSeerSenseモジュールは、代理店で扱っている。
その代理店の１つがHMS社である。

## HMS
https://www.hms-global.com/product/A-series
![](https://storage.googleapis.com/studio-cms-assets/projects/1YWjgoe9Om/s-1885x2400_v-frms_webp_32a83af2-4efa-41c0-bfa1-d0ab0283d610_middle.webp)

![Screenshot from 2023-11-28 14-59-13.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/fdb24c85-5506-3d83-d5b8-079783ca8e10.png)

![SeerSence-ds80-detail-en-2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/49f62ca6-42cf-0d66-79f6-796b580aac8e.png)
シリーズがあるので、それぞれ別途確認してほしい。

XVISIO社とHMS社の関係、SiNGRAY　ブランドとの関係がわかりにくい。

代理店
https://www.hms-global.com/

[代理店 ダイトロン株式会社](https://www.daitron.co.jp/products/singray_stereo_pro.html)

#### キャノンITソリューションズ
HMS社製AIスマートカメラ「SiNGRAY Stereo PRO」を使ってVSLAMのソリューションを提供している。


[ガイドレスAGV/AMR向け Visual SLAMソリューション　“自己位置推定システム with Vision-based Navigation Software”を販売開始](https://www.canon-its.co.jp/news/detail/202300607image.html)

ちなみに自己位置推定のシステムに使われているカメラはグレースケールのステレオカメラを使っている。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/766ad55b-2c9e-6b97-ab9b-5febfece0e5b.png)

![Screenshot from 2023-12-13 15-32-38.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/b6b40684-b8df-a304-e03a-28176f14d2fd.png)
[引用元](https://singray-stereo.com/products/)


## 未調査
Basler AG
Baslerも産業用カメラ品質のToFカメラです。
Depthで十分なとき
https://www.baslerweb.com/ja-jp/cameras/basler-tof-camera/
![Screenshot from 2023-12-11 21-36-18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/7d97608b-ad57-38f2-4189-ead411d37a51.png)


RGBとDepthのとき
https://www.baslerweb.com/ja-jp/cameras/basler-tof-camera/rgb-d-solution/

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/0782736f-96e1-4eb1-fe1f-0daa2f590b12.png)

Shenzhen PointCloud Intelignect Technology

## Vzense Tcehnology
[Enhancing Perception with Vzense: Pioneering Industrial-Grade 3D ToF Sensing Technology](https://www.vzense.com/industry-news/enhancing-perception-with-vzense-pioneering-industrial-grade-3d-tof-sensing-technology)

Youtube [Vzense](https://www.youtube.com/@vzense)
上記のサイトにVzenseに関する動画がある。
Vzense の国内代理店
[micro-technica](https://www.microtechnica.jp/products/3d_solution/vzense_TOF.html)



## LIPSedge
[LIPSedge™ DL Best-in-One  3D Time-of-Flight Camera](https://www.lips-hci.com/ja/lipsedge-dl)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/81b1ebbf-51b1-5fdf-b277-772d0863d165.png)
![Screenshot from 2023-12-11 21-32-37.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/a310eac4-737b-b8ea-de7e-de6fae20b67b.png)

このカメラでは、ToFカメラの視野と類似のRGBカメラを持っています。

850nm 光であり、屋外環境に対応していません。

Operating Range:
Near Mode 0.2 ~ 1.0m
Normal Mode: 1 ~ 4m

IMUは用意されていない様子。

[LIPSの代理店の例](https://www.macnica.co.jp/business/semiconductor/manufacturers/lips_corporation/)

## cube eye
[cube eye](https://www.cube-eye.co.kr/old/en/#/spec/main.asp)


## シキノハイテック
[3Dカメラモジュール](https://premium.ipros.jp/shikino/catalog/detail/704595/)
ToFカメラとはじゃっかん方式が違うようだが、ToFカメラのように深度画像が得られるセンサ

## メイコーエンベデッドプロダクツ
https://www.meiko-elec.com/meiko-ep/products/car/

## [Leopard Imaging](https://leopardimaging.com/leopard-imaging-tof-cameras/)



![Screenshot from 2023-12-18 14-37-03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/744d828d-f3f3-49c8-a5a8-5dc88e0aaecd.png)
[引用元](https://leopardimaging.com/leopard-imaging-tof-cameras/)
GMSL2　インタフェースのToFカメラ。
ToFカメラだけであって、ステレオカメラ、RGBカメラを持たない。
IMUも持ち合わせていない。
推測するに、車載分野で他のセンサと合わせて使うことを前提としているのだろう。だから他のカメラやIMUを持たないという選択をしているのだろう。

---
# 遠距離でも計測できる高感度のToF Image センサ
## Toppan
[凸版印刷、ブルックマンテクノロジと共同で30mの範囲で距離を測定できるハイブリッド駆動ToFによる3Dセンサを開発](https://iotnews.jp/core-technology/202454/)
> 1～30mの範囲で距離を測定できる「ハイブリッド駆動ToF（Time of Flight）方式」（※）による「三次元距離画像センサ（以下 3Dセンサ）」を開発した。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/9fd5b292-999b-00c7-2fdf-c7e437bdd7b7.png)

https://www.toppan.com/ja/electronics/device/tof/


----
# ToF Image センサ自体の情報

## Nuvoton
[Nuvoton's ToF and Object Detection Solutions at Embedded World 2023](https://www.youtube.com/watch?v=_o4PU27fiNw)
[Nuvoton](https://www.nuvoton.com/products/image-sensors/3d-tof-sensors/)

提供形態：ベアチップ
とある。

USBなどのインタフェースで利用したい人には、関係がなさそう。
APD（アバランシェフォトダイオード）を利用したかつてのPanasonicのToFセンサはNuvotonになった。[売却の記事](https://eetimes.itmedia.co.jp/ee/articles/2009/01/news123.html)

![Screenshot from 2023-12-15 21-20-19.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/8b1c04ac-464f-5b21-beb6-c51683261a11.png)
[引用元](https://www.nuvoton.com/products/image-sensors/3d-tof-sensors/km349-series/)

## Sony Semiconductor 
[ToF方式距離画像センサー](https://www.sony-semicon.com/ja/products/is/industry/tof.html)

ToF Image Sensor だけの供給。

SonyのToFセンサを搭載したカメラのリストは、上記のwebページから問い合わせることができる。

![Screenshot from 2023-12-15 21-11-48.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/3fed223b-9858-1755-95f8-4490b689dafa.png)
[引用元](https://www.sony-semicon.com/ja/products/is/industry/tof.html)

## Teledyne
この会社もToF イメージセンサ自体の開発をしている。
これを組み込んだToFカメラモジュールは別の会社になる。
[英国TELEDYNE e2v社、ToFセンサ最新モデル「超高速フレームToFセンサ《Hydra 3D》」をリリース](https://prtimes.jp/main/html/rd/p/000000043.000064519.html)

![Screenshot from 2023-12-15 21-15-37.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/f466162e-4699-f841-adcd-5876463c2c38.png)

[引用元](https://prtimes.jp/main/html/rd/p/000000043.000064519.html)

興味深いことには、距離画像の他にIRの画像の表示があることである。
近赤外での画像が得られるのだろうか。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/27eaeba4-4ea7-1c7b-73fa-a679dea33509.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/b02f5b9e-fa10-318b-c826-b41e48497a2a.png)



## おまけ
点群(Point Cloud)をグリグリと回転させて遊ぶ
以下の製品サイトの中に点群データをアクセスできるのがある。
[点群データを含むサイト](https://thinklucid.com/ja/helios-time-of-flight-tof-camera/)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/9f7ed812-e0a4-1edb-e33d-b0179cee5cd3.png)
点群データの例

plyファイルは、点群データの標準的なファイルである。

[meshlab](https://www.meshlab.net/)
[MeshLab のインストール（Ubuntu 上）](https://www.kkaneko.jp/tools/ubuntu/ubuntu_meshlab.html)

## TOF画像とIR画像とを組み合わせるとできること
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/fcc1083f-c812-9af5-8c3b-753d95ef4885.png)
![](https://3d.pmdtec.com/fileadmin/user_upload/pointcloud_depthmap_amplitude_overlay_view_pmd.gif)
このような表示ができる。

##### PointCloud View とDepth Map Viewとの違い
Depth Map View は、ToFカメラ画像の画素位置が単位になります。Infrared View も同じく画素位置が単位になります。
そのため２つは、位置があっているので、両者を組み合わせた画像が作れます。それがOverlay View です。
色相をDepth Map からとり、明暗を Infraredからとって組み合わせた画像です。
人にとって解釈しやすい画像になります。

一方、PointCloud View はX,Y,Zの3次元上の画像の点を、射影面に投影したものになります。
深度の値を点の表示色としています。
そのため、右肩の見え方が、他の画像と異なっています。
点群について、物体の表面を埋める処理をしていないので、いたる所に欠損値が黒く見えています。



## [ToFカメラを使ってできること](https://www.inrevium.com/pickup/tofcamera/)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/6d372a19-3b69-89df-8992-44ed6fc25149.png)


## ToFを用いた3D計測例
#### 段ボールの寸法をToFで測定する。
- 以下のビデオでは、直方体で合わせ込むことで、段ボールの寸法を測定している。
[3D Dimension Measurement with 3D Depth Camera - LIPS 3D Ruler Solution](https://www.youtube.com/watch?v=SyZzcqRk9eA)

## ToFの測定原理についての説明
以下の記事が参考になります。
[【Webマガジン　Vol.32- Apr., 2020】Column: TOF イメージセンサーについて](https://cornestech.co.jp/column/webmagazine-tof-image-sensor)

-------------

## OpenCV AI Kit
[Introducing: OpenCV AI Kit (OAK) Series 2 Cameras](https://www.youtube.com/watch?v=0OferXS4jIw)
[Luxonis OAK-D S2（自動焦点版） - OpenCV DepthAIカメラ](https://www.switch-science.com/products/8267)
これはステレオカメラのようだ。

## 調査結果をwebで共有する利点
1. 自分がよいと思っているものを使ってくれる人が増えれば、そのデバイス・ライブラリの供給が安定することにつながると思う。
1. 自分がよいと思っているものを使ってくれる人が増えれば、そのデバイスをサポートするライブラリが増えるきっかけになればうれしい。
1. 調査した技術分野について、読者が自分で調査するときの最初の取っ掛かりになればうれしい。


## 追記(2024.6)
- Orbbec 社の Femto Bolt がToF方式のカメラであったので追記する。
- 広い視野角と狭い視野角とを両立したいという願いに対して、両方を載せてしまったTOF方式のカメラだ。

https://www.orbbec.com/products/tof-camera/femto-bolt/


https://d1cd332k3pgc17.cloudfront.net/wp-content/uploads/2023/08/ORBBEC_Datasheet_Femto-Bolt-1.pdf

![Screenshot from 2024-06-28 15-36-44.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/4f705d3f-4483-22bc-759f-85222ff36857.png)

- [コンパクトなToFカメラを調査中](https://qiita.com/nonbiri15/items/f590acfcf0accb581652) 
- [Orbbec の３Dカメラについて調査中(https://qiita.com/nonbiri15/items/75c04f7b4adc494225be)

## 追記2024.09
Infineon
[ToF（Time of Flight）センサー REAL3](https://www.infineon.com/cms/jp/product/sensor/tof-3d-image-sensors/)
Infineonの利用例 に以下のロボットがあった。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/cfa1bdbf-7d3a-befd-f131-621fc9b0269e.png)

https://www.infineon.com/cms/jp/product/promopages/event/sensor_expo_2024/