Structured light方式のカメラシステムを調査中

３次元計測用のカメラシステムの１つにstructured light方式のカメラシステムがある。

## Structured light方式(構造化光方式)とは
プロジェクタから投影したパターン光を対象物に照射した条件で、対象物をカメラで撮影します。
そのカメラ画像から、対象物の3D形状を計測するシステムです。


## ToF にまさる点
- ToFは信号の到達距離の問題があり、3m以遠での計測ができるものは高価になってしまう。
- ToFのイメージセンサは解像度がQVGA程度であり、点群の密度が限られる。
- Structured light方式だと、カメラで撮影可能な距離が、画像としては見えて、欠損値になることがない。
- Structured light方式だと、受光用のカメラの解像度が大きくできる。そのため取得できる点群の密度を高くできる。 

## ステレオ計測にまさる点
- ステレオ計測の課題
	- 画像上の特徴点がでにくい領域での計測が難しい。
	- 反射が生じたときの輝点の扱いが難しい。
	- 光沢のあるもの、光を透過するものが難しい。
	- 明るすぎる領域・暗すぎる領域の精度がでない。
- Structured light方式の場合
	- 構造化光を照射することで輝度の変化ができる。そのシャープなエッジの場所が特徴のある点になる。
	- 構造化光を照射して撮影しているので、暗すぎる問題を生じない。
	- システムの設計によって、照射光源とカメラの間の距離（＝基線長）を大きくできるので、ステレオカメラではできないほどの距離分解能を遠方に対して実現できる。

## 注意点
- 1 回の撮影を終えるまでに、カメラ側・対象物側の間に動きを生じてはならない。
- そのため、バラ積みのピッキング・パレタイジング・デパレタイジングのなどの分野で用いられている。
- 他の3D計測と同様に近距離側で計測ができない範囲がある。
光源とカメラの位置の差がステレオカメラの基線長に相当する。
その距離が大きいほうが、遠方での計測精度を出しやすいが、近距離での測定可能な下限が大きくなる。（＝近距離側の計測ができない範囲が増える）

1 mm未満の位置精度をだそうとすると、光学系の選択と計測手法の組み合わせが大事になります。
次の記事は、光学系の選び方のヒントになる。
[最小検出体の考え方](https://www.keyence.co.jp/ss/products/vision/visionbasics/basic/practice/min_detector.jsp)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/d3e2cc4f-6cf7-d8d6-74c5-5ea10d7a78b0.png)
上記のURLから引用

## Structured light方式のカメラシステムの解説記事
[構造化光3Dスキャニングの仕組みと役割](https://www.artec3d.com/ja/learning-center/structured-light-3d-scanning)

[structured-light方式デプスセンサのキャリブレーションと測定原理](https://qiita.com/forfeit/items/2efc655a58021aa231f9)

### パターン光の周期を変えた一連の測定例
![](https://blog.rogiken.org/wp-content/uploads/2020/12/calib.gif)
出典の記事 [RGB-Depthセンサを自作しよう【3-キャリブレーション編】](
https://blog.rogiken.org/blog/2021/02/01/rgb-depth%e3%82%bb%e3%83%b3%e3%82%b5%e3%82%92%e8%87%aa%e4%bd%9c%e3%81%97%e3%82%88%e3%81%86%e3%80%903-%e3%82%ad%e3%83%a3%e3%83%aa%e3%83%96%e3%83%ac%e3%83%bc%e3%82%b7%e3%83%a7%e3%83%b3%e7%b7%a8%e3%80%91/)
[RGB-Depthセンサを自作しよう【4-構造化光法編】](https://blog.rogiken.org/blog/2021/02/01/rgb-depth%e3%82%bb%e3%83%b3%e3%82%b5%e3%82%92%e8%87%aa%e4%bd%9c%e3%81%97%e3%82%88%e3%81%86%e3%80%904-%e6%a7%8b%e9%80%a0%e5%8c%96%e5%85%89%e6%b3%95%e7%b7%a8%e3%80%91/)




## 応用例
- ばら積み部品ピッキング　に使われていることが多いです。
- 各自検索してみてください。

## 製品例
#### LIPSedge™ L210u/L215u
[LIPSedge™ L210u/L215u Compact, Accurate and Powerful High-Res Structured-Light Camera](https://www.lips-hci.com/ja/lipsedge-l-series)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/ab80d3e4-668c-9bff-a0e4-6b0802236f6f.png)

精度
> high precision (≤ 0.3% @100cm)

通常のステレオカメラとLIPSedge™ L210u /L215uとの比較が記されている。
LIPSedge™ L210u /L215u の側には欠損値が少ない。

![Screenshot from 2023-12-03 21-13-30.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/d3e3a566-d415-1ad3-e7de-3c3a731cc813.png)

#### OEBBEC
[ORBBEC Astra2](https://www.orbbec.com/products/structured-light-camera/astra-2/)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/0c19ec3e-7409-3b22-b799-bc72d3d6eeb7.png)

> precision: <= 0.16%@1m
![Screenshot from 202![Screenshot from 2023-12-04 13-57-34.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/a617e4e3-9f62-3238-a662-4abf2185ff77.png)
3-12-04 13-38-29.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/f2f015a3-1c12-09e4-b4ce-d59effa11a3f.png)


#### Mech-Eye PRO
![Screenshot from 2023-12-04 13-50-09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/bce11024-e7ed-53f8-8680-541a558191e7.png)


Yotube [高精度構造化光法 産業用3Dカメラ Mech-Eye PRO](https://www.youtube.com/watch?v=6eqSpUFv0rU)


#### [Fanucの3Dカメラ](https://www.fanuc.co.jp/en/product/robot/function/irvision.html)

![Screenshot from 2023-12-04 13-57-34.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/3452c14e-5c8b-7083-c8f0-dbd8d103a61c.png)



#### [Keyence's 3D Machine Vision Technology](https://www.keyence.com/landing/lpc/3d_visionsystems.jsp)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/25f1e96d-51b7-5f7b-7831-ca748d4f793f.png)
[3Dロボットビジョンカメラ RB-800](https://www.keyence.co.jp/products/vision/vision-sys/3d_vgr/models/rb-800/)


#### 株式会社ノア
[高分解能3Dスキャナ](http://www.kknoa.co.jp/HighResolution3DScanner.html)

#### ケイエルブイ 
[3Dカメラ](https://www.klv.co.jp/product/3d/)


#### ティイーエム
[3Dカメラ](https://www.tem-inc.co.jp/products/camera/3d_camera/)


## ３次元レーザープロファイラ

類似のシステムとして３次元レーザープロファイラがある。

#### 製品例
https://www.cognex.com/ja-jp/products/machine-vision/3d-machine-vision-systems/in-sight-3d-l4000

https://nanoxeed.co.jp/product/dvl5000/

https://www.aperza.com/catalog/page/2259/34592/

## OpenCV にあるstructured-light モジュール
https://docs.opencv.org/4.8.0/d1/d90/group__structured__light.html

[OpenCVのstructured-lightを流用して3Dスキャン](https://qiita.com/nn_tok/items/b2233a5632ec9fcaf714)

[GSoC 2015 OpenCV Structured Light](https://www.youtube.com/watch?v=O5P65CYqo_Q)

## 最後に
- マシンビジョン関係のシステムの提供は多数あります。
- この中では、ほんの少ししか調査できていません。
#### おすすめのシステムがあったら教えてください。

## 構造化光方式に関連する技術情報

講演会資料 [SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～](https://www.slideshare.net/SSII_Slides/ssii2019ts21)

qiita [structured-light方式デプスセンサのキャリブレーションと測定原理](https://qiita.com/forfeit/items/2efc655a58021aa231f9)