ホワイトペーパー

ライトフィールドカメラとは？

小さな革命 : 3 D ライトフィールドカメラ

Raytrix 社のライトフィールドカメラは、１個のメインレンズを持ち１回の撮影で 3D 画像を取得できる新しいタイプの 3D カメラです。Raytrix ライトフィールドカメラの特徴の一つは、一旦 3D 画像を取得できれば画像をリフォーカスできることにあります。
撮像センサの前に置かれた 20,000 個のマイクロレンズが、異なる視点を持つ 20,000 枚のマイクロ画像を取得することにより、これを可能にします。
ただし、これらのマイクロレンズは撮影対象を見ているわけではなく、センサ前のメインレンズが作成する中間的な 3D 像を見ているのです。

中間的な 3D像シーンのライトフィールドを取得するには、可能な限り多くの視点からシーンを撮影することが求められます。このための最も簡単な方法は、普通の 2D カメラを配列にして利用することです。
ライトフィールドカメラは、このようなカメラ配列を一つのカメラに集約します。メインレンズはカメラ内にミニチュア化されたシーンを生成し、次いでそれを「マイクロカメラ」（マイクロレンズ）が観測します。
a レンズは中間的な 3D 像を生成します。
b 普通の 2D カメラは、その中間的 3D 像において、画像センサ表面と交差する合焦部分しか観測しません。
c ライトフィールドカメラの場合、その中間的 3D 像はマaイクロレンズの手前に配置されます。各マイクロレンズは、中間的 3D 像をそれぞれ異なる視点から観測することで、独立したマイクロカメラの役割を果たします。

bc

20,000個のマイクロレンズが3D画像を作成する様子
ライトフィールドカメラによって記録されるデータは、20,000 個のマイクロレンズによって作成される多数の小さな画像群です。これらのマイクロ画像は、3D 画像を生成するために算術的に結合されます。
a ライトフィールドカメラはマイクロ画像を記録します。
個々のマイクロ画像の様子をクリアに示すため、図中の枠内に拡大表示しています。

ab 隣接するマイクロ画像には、シーン中の同じ点が小さな位置ずれとともに撮影されています。その位置ずれ量からその点の 3D 空間中の位置を計算することができます。このような処理を 20,000 枚全でのマイクロ画像の画素に対して実施することにより、画像全体に対する 3D デプスマップを生成できます。
c 元データとそのデプスマップから、「普通」の 2D 画像も計算により作成できます。

bd デプスマップとその「普通」の 2D 画像から、任意視点からの 3D ビューも作成可能です。

cd

リフォーカス
20,000 個のマイクロレンズは、視点の異なる 20,000枚のマイクロ画像を取得します。カメラは光線の色だけでなく方向も記録しています。それゆえに、カメラによってキャプチャされるものは、単なる 1 枚の 2D 画像ではなく「ライトフィールド」と考えることができます。
標準的な 2D カメラは、シーン全体のライトフィールドのうち、わずかな部分しか観測しません。しかし、もしシーン全体のライトフィールドが取得できたならば、数多くのa異なる 2D カメラがシミュレートできるでしょう。すなわ
ち、画像をリフォーカスすることは、異なる焦点セッティングの 2D カメラをシミュレートすることと同じことなのです。
a 画像の全体がフォーカスされています。
b 背景にフォーカスが合うようにセッティングされた画像がシミュレートされています。

bcc この画像ではフォーカス面は前景に位置しています。

拡張された被写界深度
Raytrix のライトフィールドカメラは、特許を取得した特別なマイクロレンズ配列を使用しており、その配列は異なる焦点距離を持つマイクロレンズによって構成されています。このマイクロレンズ配列を通じて被写界深度を大きく拡張できます。
a 異なるタイプのマイクロレンズはそれぞれ異なる色で示されています。近接レンジに対しては、特定のタイプaのレンズが合焦しています。
b 背景にあるキウイにフォーカスした 11 メガピクセルの解像度を持つ一般的なカメラをシミュレートしたものです。
c Raytrix のライトフィールドカメラにより、同様に、背景にあるキウイにフォーカスした 11 メガピクセルの解像度を持つカメラをシミュレートしたものです。前景部分も合焦して著しくシャープになっていることがわかり

bcます。

写真撮影
a

写真撮影においてライトフィールドカメラを使用する利点は、特にデジタル画像の後処理にあります。
a デプスマップは、デプスに依存する画像フィルタアプリケーションに利用できます。

bb 拡張された被写界深度です。
c 異なる焦点距離をシミュレーションして合成したものです。
d シンプルな前背景分離です。

cdee 継続的に焦点面を選択して変化させている様子です。

ビデオ
シーン全体の 3D 情報はライトフィールドカメラの１回の撮影によって得られ、その処理はカメラのフレームレートとは独立しています。このことは、ライトフィールドビデオの作成が可能であることを意味しています。すなわち、写真撮影のためのライトフィールドカメラでの後処理はビデオ作成にも応用できます。
撮影後のフォーカス処理のおかげで、レンズフォーカスを担う撮影助手の役割は大きく単純化されるか、もしくはいくらか冗長になります。また、無人撮影カメラ（例えば、深海潜水ロボットや野生生物観測映像に使用されるカメラ）からのビデオ作成では、より効果的に使用できるでしょう。
もちろん、ライトフィールドカメラは 3D 映画の撮影にも使用可能です。最新の技術では 2 台のカメラを平行配置した撮影装置が利用されますが、これは必要ではなくなります。
たった 1 台のライトフィールドカメラがあればよく、特に狭いスペースや極端に広いエリアにおいて有益です。

顕微鏡検査従来の顕微鏡検査における一般的な問題は、浅い被写界深度にあります。これは、全焦点画像を取得するには、異なる焦点距離設定による画像撮影を積み重ね、それらを算術的に結合する処理が必要であることを意味しています。しかし、動物体を対象とした場合、顕微鏡撮影においてこのような処理を行うことはほぼ不可能です。
Raytrix ライトフィールド顕微鏡は、180fps までの撮影が可能であり、深い被写界深度を実現できます。

工業分野での応用工業製品の生産においては、製品表面を撮影して検査するだけでなく、3D 形状を計測して検査することも重要です。ライトフィールドカメラはどちらにも適用可能です。
すなわち、表面を撮影することと 3D 計測の計測が 1 回の撮影で実現できます。ライトフィールドカメラは単一のレンズしか必要としないため、3D 撮影が難しい微小な詳細aも記録可能です。
a コネクタ表面検査のために再構成した 2D 画像です。
b コネクタのピンの高さの計測に利用できる 3D マップです。
c コネクタの 3D ビューです。

bc

Forschung, Botanik
Research, Botany
研究、植物学
Mit
Lichtfeld-Technologie den Geheimnissen des Pflanzenwachstums
ライトフィールドによる植物成長のしくみの解析
auf der Spur
Die Wissenschaftler
des Max Planck Instituts für Molekulare Pflanzenポツダムにあるマックスプランク分子植物生理学研究所の研究員達は、
physiologie in Potsdam beobachteten, dass sich die Ausrichtung der
多くの植物の葉揃いが日夜大きく変化することを観測しました。この現象
Blättervieler Pflanzen tags und nachts stark verändert. Um dieses
Phänomen dokumentieren zu können, brauchen sie ein zuverlässiges
を量的に資料化するために、レーザスキャナとは異なり、植物の成長に影
Messverfahren, welches nicht, wie z. B bei einer Laserabtastung, das
響を与えることのない高精度な計測システムを必要としていました。
Pflanzenwachstum
beeinflusst.
Es hat sich gezeigt, dass die Lichtfeldkamera die praktikabelste
このタスクのためには、ライトフィールドカメラが最も実現性のある
Lösung für diese Aufgabe ist. Die Raytrix Infrarot-Lichtfeldkamera
ermöglicht
die genaue Messung des Flächeninhalts der Blätter赤外線ライトundソリューションであることが明らかになりました。Raytrix
eine Analyse der sich ständig ändernden Blattwinkel.

フィールドカメラは、葉の表面積と角度の変化のどちらについても、正確

Investigating
the secrets of plant growth with Light Field Technologyな計測と解析を可能にしました。

夢—＆The scientists of the Max Planck Institute of Molecular Plant Physiology
in Potsdam observed that the alignment of leaves of many plants change
significantly between day and night. To document this phenomenon
quantitatively they needed a reliable measurement system that did not
influence the plants growth which, for example, is seen in laser scanning.
It became apparent that the light field camera is the most practicable
solution for this task. The Raytrix infrared light field camera enables
the accurate measurement and analysis of both, the surface area of theleaves, and their changing angles.

株 式 会 社 ナ ノ シ ード

03 - 5953 - 8810．
1.- -〒182- 0034 東京都調布市下石原 3 丁目 2 - 7 平田ビル 2 階
受付時間 / 10 : 00 〜 18 : 00（土日祝日を除く）

info@nanoxeed.co.jp https://nanoxeed.co.jp/