知っておきたいキーワード
第 158 回

Keywords you should know.

NeRF: Neural Radiance Fields（ニューラルラディアンスフィールド）長 沼 宏 昌††株式会社ソニー・インタラクティブエンタテインメント"NeRF: Neural Radiance Fields" by Hiromasa Naganuma (Sony Interactive Entertainment Japan, Tokyo)
キーワード：ニューラルラディアンスフィールド，3D 再構築，ディープラーニング，写実的レンダリング

まえがき
近年，コンピュータビジョンと AIの技術は急速に進化しています．特に，発音はナーフと読むようです．NeRF用分野において活用されています．の革新的なアプローチは，3 次元空間

本記事では，NeRF の基本的な概念の視覚情報を従来手法に比べて高い精とそれを構成する技術について解説を度と再現性で実現しました．

行います．私たちの周りにある多くの3 次元空間の再構成技術の発展は目覚

NeRF が登場して以来，さまざまなコンテンツがどのように作られているましいものがあります．その基幹技術派生技術が次々と生み出されています．のか，その裏側にある技術と工夫に触と し て ， NeRF（ Neural Radiance

それらの技術は3Dモデル生成，仮想現れていただければ幸いです．

Fields）1）は特に注目された技術です．

実，映画やゲーム制作など，幅広い応NeRF の基本概念

360ﾟ 撮影技術は全方位を撮影し，合を用いて自由視点映像を生成します

成することで 360ﾟ 視点の映像を実現

が，その過程でニューラルネットワー

NeRF は 2020 年に開催された ECCVします．しかし，この方法では撮影位クを利用します．これにより，従来の（European Conference on Computer

置からの視点の移動は不可能であり，技術では再現が難しかった光の反射やVision）に お い て ， Best Paper

視点の自由度に限界がありました．

透けて見える景色のような複雑な情報

Honorable Mention を受賞した革新的フォトグラメトリは，複数の写真をな技術です．この技術は，複数の視点用いて物体や環境の 3D モデルを生成からの画像を基に，新しい視点の画像する技術です．対象の立体的な再現がNeRFは，視点の自由度や再現精度にを生成することを可能にします．任意可能になりますが，多くの画像データおいて従来技術を大きく上回り，3次元の視点の画像を生成する技術としてと高度な計算が必要であり，再現精度空間内の視覚情報を高精度に再生すは，既存手法として 360ﾟ 撮影技術やに限界がありました．

るための新たなアプローチを提供しフォトグラメトリといった要素技術がすでにありました．

NeRF はフォトグラメトリと同様を含む環境下でも，高精細な画像生成が可能になります．

ました．に，さまざまな角度から撮影した写真

映像情報メディア学会誌 Vol. 78, No. 5, pp. 550 〜 552（2024）（37） 550

知っておきたいキーワード

NeRF の仕組み（a）5D 入力（位置 + 方向）

うに吸収されるかをシミュレートしてNeRF の入力は 5 次元ベクトルです．

います．このプロセスにより，最終的NeRF を理解するために，まず本論

3 次元空間の位置（x, y, z）とその点かな画像が生成されます．

文を紹介している Web サイト 2）をごらの視線方向（θ, φ）で構成されます．

（d）レンダリングロス

覧いただきたいと思います．ここでは（b）出力（色 + 密度）

NeRF を使用した多数の事例が動画と5 次元ベクトルは，ニューラルネッの誤差を計算します．この誤差を最小して紹介されています．

生成された画像と実際の撮影画像とトワーク Fθ に入力されます．この化するためにニューラルネットワーク

ネットワークは，与えられた位置と方のパラメータを最適化します．これに視点の画像を合成する手法であり，複向に基づいて，その点の放射輝度より，ネットワークがより正確にシー数の視点から得られた画像を基に，連（RGB）と体積密度（σ）を出力します．

ンを再現するように学習を進めます．

続的なボリュメトリックシーン関数を放射輝度とはその点からどれだけの光以上が NeRF の基本的な処理になり最適化します．この技術により，視点が放射されるかを示し，体積密度はそます．3 次元位置と視線方向を入力との変更に伴ってリアルタイムに新しいの点の物質の密度を示します．

して，ニューラルネットワークが色と視点の画像を生成することができます．

（c）ボリュームレンダリング

密度を出力し，それを基にレンダリン

NeRF は，撮影したシーンの新しい

図 1 に論文から引用した図を掲載しシーン内の各点から視点までの光のグを行い，最終的に撮影画像との誤差ました．NeRF は以下のステップで構経路に沿って，色と密度の値を集積しを最小化することで，高精細でリアル成されています．

ます．これは，光線がシーンを通過すな新しい視点の画像を生成することがる際にどのように色が変化し，どのよ可能となります．

図 1 NeRF の仕組み（文献 1）より引用）

一番容易だと思われるのが，Dockerています．SfM はコンピュータビジョイメージを使用する方法です．注意点

ンとフォトグラメトリの分野で長い歴

NeRF の使用例として，nerfstudio3）として，GPU と CUDA のバージョン

史があり現在でも重要な基幹技術です．

を紹介します．nerfstudio は，NeRF をについて推奨されている記載があるこ（5）NeRF のトレーニングとレンダ簡単に実装し，さまざまなユースケーとです．

スで利用できるツールセットです．

（3）撮影したデータを使用する

NeRF の実例（1）特徴リング
COLMAP の出力を基に NeRF モデ

nerfstudio では撮影したデータからルをトレーニングします．viewer でNeRF の入力は 5 次元ベクトルのた5 次元ベクトルを生成することもでき学習結果を確認し，レンダリングした

め，撮影した画像だけでは情報が足ります．文献 4）にさまざまな入力データ

いカメラ情報を決めます．最後にレンません．そのために前処理が必要となに対応した変換手法について記載があダリングを行って完成です．

ります．nerfstudio は，このデータのります．

前処理や訓練，レンダリング処理など（4）COLMAP によるカメラポーズを別々に行うことができ，それぞれの結果の確認も容易です．

推定n e r f s t u d i o は 論 文 5 ）も あ り ま す ．
nerfstudio は NeRF 系論文のためのフレームワークとして利用することが容5 次元ベクトルを生成するために，易なツールセットです．個人のローカ（2）環境構築

nerfstudio では COLMAP という SfM

ル環境でこのような素晴らしい画像を

nerfstudio ではさまざまな環境構築（Structure from Motion）による解析生成できることに，時代の進歩を感じ方法が提示されています．この中でもツールを用いてカメラポーズを推定します．

551 （38）

映像情報メディア学会誌 Vol. 78, No. 5（2024）

NeRF: Neural Radiance Fields（ニューラルラディアンスフィールド）むすび
今回は実例として nerfstudio を紹介

す．Luma AI はこれらの派生技術も照明条件の変化に対応した技術です．

取り入れています．以下に，NeRF 以

自然環境での精度が向上しています．

降の代表的な派生技術をいくつか紹介（3）Instant-ngp11）

しましたが，自由視点映像生成をもうします．

少し手軽に試したい方には Luma AI6）

（1）3D Gaussian Splatting7）

表されました．Multiresolution Hash

を お 勧 め し ま す ． Luma AI は ， ス

3 次元空間の表現方法が NeRF と異Encoding 12）という技術を使用して学マートフォンで動画を撮影するだけでなり，レンダリングが高速です．非新しい視点の画像を生成することが可常に注目されている技術なので，詳

この他にも多数の技術が日々開発さ能なサービスです．出力結果は図 2 に細は Web サイト 8）を参照すると良い

れ，さまざまな分野での応用が期待さ掲載しました．

でしょう．

れています．今後も NeRF はますます（2）NeRF-W9）

多くの分野で利用されるでしょう．

2020 年に NeRF が登場して以来，さまざまな派生技術が開発されていま

GPU ベンダーの研究者によって発習時間を短縮しています．

NeRF in the Wild10）は天候や多様な（2024 年 6 月 4 日受付）

図 2 Luma AI の出力例（左撮影画像，右レンダリング画像）

参考文献1）B. Mildenhall, P.P. Srinivasan, M. Tancik, J.T. Barron, R. Ramamoorthi and R. Ng: "NeRF: Representing
Scenes as Neural Radiance Fields for View Synthesis", in European Conference on Computer Vision(ECCV) (2020)2）B. Mildenhall, P.P. Srinivasan, M. Tancik, J.T. Barron, R. Ramamoorthi and R. Ng: "NeRF" (2020),
https://www.matthewtancik.com/nerf/
3）NeRF Studio Documentation, https://docs.nerf.studio/4）NeRF Studio Custom Dataset, https://docs.nerf.studio/quickstart/custom̲dataset.html
5）M. Tancik, P.P. Srinivasan, B. Mildenhall, J.T. Barron, R. Ramamoorthi and R. Ng: "Nerfstudio: a ModularFramework for Neural Radiance Field Development", in Proceedings of the SIGGRAPH Conference (2023)
6）Luma Labs, https://lumalabs.ai/
7）B. Kerbl, J. Thies, T. Müller, A. Dai, M. Hälli and A. Kaplanyan: "3D Gaussian Splatting for Real-Time

ながぬまひろまさ長沼 宏昌2000 年，ソニー（株）入社．PC 事業において録画基板の設計開発に従事．その後，Blu-ray 事業にて高画質化エンジンの開発を経て，研究開発部門にて映像技術の開発に携わる．現在，（株）ソニー・インタ
ラクティブエンタテインメントにて，センシング技術の開発に従事．

Radiance Field Rendering", in Proceedings of the SIGGRAPH Conference (2023)
8）3D Gaussian Splatting, https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/9）R.M.-Brualla, N. Radwan, M.S.M. Sajjadi, J.T. Barron, A. Dosovitskiy and D. Duckworth: "NeRF in theWild: Neural Radiance Fields for Unconstrained Photo Collections", in Proceedings of the IEEE/CVF
Conference on Computer Vision and Pattern Recognition (CVPR) (2021)
10）NeRF in the Wild, https://nerf-w.github.io/11）T. Müller, A. Evans, C. Schied and A. Keller: "Instant Neural Graphics Primitives with a Multiresolution
Hash Encoding", in Proceedings of the ACM SIGGRAPH Conference (2022)
12）Instant Neural Graphics Primitives, https://nvlabs.github.io/instant-ngp/（39） 552