RealSense l515プレオーダー記念 Lidarについてまとめてみる

3D Sensor Advent Calendar 2019の24日目の記事です。


## はじめに
ついに[RealSense l515](https://www.intelrealsense.com/lidar-camera-l515/)のプレオーダーが始まりましたね。


![lidar_camera_gallery_4.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/438389/089fa280-870a-e4f5-ae19-95627218b5aa.jpeg)

皆さんはもうプレオーダー済ませましたか？私は初日に予約してしまいました！

ただ、RealSense自体は会社でD400シリーズを使う機会はあるのですが、

**Lidar**(Light Detection and Ranging)については勉強不足の面が否めないので、この機会にまとめてみます。

また、せっかくなのでRealSense l515の性能についても少し触れようと思います。


## 結論
* LidarはToF法が主流
* RealSense l515まとめ

## Lidar(Light Detection and Ranging)
Lidar(Light Detection and Ranging)は日本語だと、**光による検知と測距**だそうで

**レーザー光を用いて**対象物までの距離や性質を測定する技術。

古くは、地質学、地質工学、地震学、リモートセンシング、 大気物理学で用いられ、近年は自動運転車用センサーとしても注目されているカメラのようです。

あれ？

この説明を聞いたときに、TOF(Time Of Flight)カメラと何が違うの？と思ったのが正直なところです。

とりあえずTOFについておさらいです。

- TOF法 とは？
> 照射した光線が対象に当たり、反射光が戻るまでにかかる時間から距離を計測する技術

> 光の速度は秒速30万km(既知)なので、1ナノ秒（10億分の1秒）に30cm進む。センサーと被写体の距離が15cm（往復で30cm）変化すると、センサーが光を放ってから反射光を受けるまでの時間が1ナノ秒変化することになる。
時間の測定には、光の周波数の位相差を利用する。位相差を時間差に変換し、光の速度をかけると対象までの距離が分かることになる。(出典 : [TOFの概要(KDDI様)](https://www.kddi.com/yogo/%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A1%E3%83%87%E3%82%A3%E3%82%A2/TOF.html))

なるほど。

やっぱりLidar = TOFカメラでは？と思いましたが、

最近のLidarはTOF法を使ったカメラが多い。というだけで、

TOF法以外(三角測量)などを使ったカメラも存在するそうです。

つまり、Lidar = TOFが必ず成立するわけではなく、TOFカメラの中にLidarカメラが含まれることもある。ということ？みたいです。

ここらへん、上手くまとめてる文章を見つけれきなかった・・・。

>LiDARの距離計測には、ToF（Time of Flight）を使うことが一般的だが、ここへ来てFMCW（Frequency Modulated Continuous Wave）方式が増えている。ToFは、パルス光を発して反射光の遅延時間から距離を計測する。FMCWでは反射波の周波数変化を読み取る(出典 : [車載LiDARの距離計測に脱ToFの動き](https://tech.nikkeibp.co.jp/atcl/nxt/column/18/00895/00006/))

>Sam氏の自作したLIDARは、レーザーの反射光をカメラで記録することで「三角測量」によって距離を計測するものだとのこと。(出典 : [たった4000円で自動運転技術の肝となる「LIDAR」を自作](https://gigazine.net/news/20180406-diy-lidar/)より)

Lidarはステレオマッチングとは異なり、スキャン機構、レーザ出射機、レーザ受光部と多くの専門素子が必要のため高額になりやすいとうのがデメリットです。

といっても、自分は世代的にkinect全盛期に学生をやっていたので、すでにTOFカメラはある程度安価(学生がポンと買える額ではないが)なイメージですね・・・。

## RealSense l515

l515は従来の360度Lidarカメラとは異なり、**Solid State方式**とよばれる回転機構をもたない。

要は、照射角の範囲でのみセンシング可能なデプスカメラだそうです。

360度回転してデータが取れるデプスカメラのほうがお得では？？ と思いましたが、業界ではそうではないようで、

360度Lidarカメラは駆動部にモーターが必要なため小型化・軽量化が難しく、コストも高く量産する上でのデメリットが目立ったようです。

Solid State方式は小型で壊れにくく、複数台組み合わせて360度カバーするコンセプトのようです。

また、l515は**MEMS mirror scanning**技術を採用しており、総部品数を減らしつつ、

従来デプスカメラよりも低電力かつ高精度のパフォーマンスを発揮するそうです。

公式に書かれているl515のカタログスペックは以下の通り

- 消費電力は3.5W以下

ちなみに、Azure Kinectは最大5.9Wだそうです。

- 0.25m~9mの範囲で高精度のデータを取得

- 深度解像度1024*768を30fpsで提供。つまり毎秒2300万ピクセル取得可能

- 重さ100g

これまたAzure Kinectは440gです。

- 公式提供の RealSense SDK 2.0は次の言語(環境)に対応
    - OpenCV, python, pcl, C, C++, Node js, C#, MATLAB, Open NI, unityなどなど
![lidar_camera_gallery_6.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/438389/c471e074-8b14-3a37-3ec0-0fabc1e14a16.jpeg)

### l515スペック

|  |  |
|---|---|
|Features(特徴)  |  |
|使用環境  |屋内  |
|最大距離  |9m  |
|技術  |レーザースキャニング  |
|Depth(深度) |  |
|Depth技術  |Ridar  |
|最小距離  |0.25m  |
|視野角  |70° × 55° (±2°)  |
|解像度とfps  |1024*768, 30fps  |
|最大距離  |9m  |
|RGBカラーカメラ  | |
|解像度 | 1920*1080  |
|視野角(H * V) | 70°±3 × 43°±2 |
|fps  |30fps  |
|Depth 視野角  |70° × 55° (±2°)  |
|物理的仕様  | |
|大きさ | 直径61mm * 高さ26mm |
|接続インターフェース  |USB-C* 3.1 Gen 1  |
|その他  | |
|キャリブレーション | **不要** |

## プレオーダーなど

ここまで触れてきませんでしたが、RealSense l515の値段は$349.00(日本円だと大体38,000円)になります。

送料込みで40,000円ぐらいでしょうか。

発送は2020年4月27日以降だそうなので、GWぐらいに届く感じでしょうか？

[公式ページ](https://store.intelrealsense.com/buy-intel-realsense-lidar-camera-l515.html?_ga=2.84187290.2012752811.1577099745-1738586091.1577099745)から台数を選択して、PRE-ORDER決定後、住所やクレジットの情報を入力すれば購入手続きできます。10分あればできると思いますが、英語で記入しないといけないので結構手間ですね・・・

## まとめ

RealSense新型はステレオマッチングではなくLidar(TOF法)カメラとなりました。

大学の研究機関では重宝するのではないでしょうか？ただ、使用用途が屋内と書かれているので太陽光とかの影響はモロに受けるのかな・・・

ビジネスで使っていくにはやっぱり課題は大きいと思っています。

ただ、距離が離れても誤差は大きくならないみたいなので、ある程度距離が離れた状態での精度には注目ですね。

今年はAzure Kinectがでたりとか、デプスカメラ界隈は結構盛り上がったのではないでしょうか？

リリース日にサンプルアプリ作れるようになりたい・・・

まだまだ勉強不足なので、[The Laser That's Changing the World: The Amazing Stories behind Lidar, from 3D Mapping to Self-Driving Cars](https://www.amazon.co.jp/Laser-Thats-Changing-World-Self-Driving/dp/163388466X/ref=pd_sim_14_9?_encoding=UTF8&pd_rd_i=163388466X&pd_rd_r=dee07157-8f45-40dd-89d1-5e2b1c982698&pd_rd_w=vbS8W&pd_rd_wg=ew0Ed&pf_rd_p=51d7f721-ab31-4c99-8db8-c3f45803167a&pf_rd_r=P96NSMMHYB4G22F06BMV&psc=1&refRID=P96NSMMHYB4G22F06BMV)という本をポチリました！ 正月中に読破するぞー！

明日は[neka-natさん](https://qiita.com/neka-nat@github)の「点群を扱うアルゴリズムについて書く」になります。

パノラマ合成やPCL(Point Cloud Library)等は研究でちょっとかじったレベルですが、非常に楽しみです！！

### 6/15 追記
やっと発送されたようです😢

## 参考ページ
[RealSense l515公式](https://www.intelrealsense.com/lidar-camera-l515/)

[TOFの概要(KDDI様)](https://www.kddi.com/yogo/%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A1%E3%83%87%E3%82%A3%E3%82%A2/TOF.html)

[PCL/OpenNI tutorial 0: The very basics](http://lang.sist.chukyo-u.ac.jp/classes/PCL/OpenNI_tutorial_0_The_very_basics.html)

[LiDARにしてToFにあらず、中国お掃除ロボの自動運転技術に驚く](https://tech.nikkeibp.co.jp/atcl/nxt/column/18/00320/00009/)

[距離センサ入門（ステレオカメラ、プロジェクション、LiDAR)](https://qiita.com/arutema47/items/4b28b9d2701fe1e97f52)![lidar_camera_gallery_4.jpg]