渲染

<image>

渲染（render，rendering）又称彩现、绘制、算绘等，在电脑绘图中，是指以软件由模型生成图像的过程。模型是用语言或者数据结构进行严格定义的三维物体或虚拟场景的描述，它包括几何、视点、纹理、照明和阴影等信息。图像是数字图像或者位图图像。彩现用于描述：计算视频编辑软件中的效果，以生成最终视频的输出过程。三维计算机图形的预渲染（pre-rendering，offline rendering）或者实时渲染（real-time rendering，online rendering）的速度都非常慢。预渲染的计算强度很高，需要大量的服务器运算完成，通常被用于电影制作；实时渲染经常用于三维视频游戏，通常透过图形处理器（GPU）完成这个过程。

渲染是三维计算机图形学中的最重要的研究课题之一，并且在实践领域它与其它技术密切相关。在图形流水线中，渲染是最后一项重要步骤，通过它得到模型与动画最终显示效果。自从二十世纪七十年代以来，随着计算机图形的不断复杂化，渲染也成为一项越来越重要的技术。渲染的应用领域包含：计算机与视频游戏、模拟、电影或者电视特效以及可视化设计，每一种应用都是特性与技术的综合考虑。作为产品来看，现在已经有各种不同的渲染工具产品，有些集成到更大的建模或者动画包中，有些是独立产品，有些是开放源代码的产品。从内部来看，渲染工具都是根据各种学科理论，经过仔细设计的程序，其中有：光学、视觉感知、数学以及软件开发。

## 使用

图像初步建立（通常使用网格骨架构建，建模（3D modeling））之后，就要进行渲染了。渲染将会在上面添加位图纹理或者程序纹理、照明、凸凹纹理映射以及相对于其它物体的位置。得到的结果就是消费者或者观察者所能看到的完整图像。

在制作电影动画时，通常需要渲染多幅或多帧图像，并在动画制作程序中将它们串联起来。大多数三维图像编辑程序都能完成这项任务，如Blender、Maya或Cinema 4D等。

## 特性

渲染的图像具有许多显著的特性，因此渲染研究的领域主要集中在寻找高效模拟这些特性的方法。有些特性只与特定的算法有关，而有些则与多个算法相关。

- 明暗处理—表面颜色与亮度随光照的变化
- 纹理映射—在表面生成细节的方法
- 凸凹纹理映射—在表面模拟小凸凹的方法
- 距离模糊—光照穿过不清澈的大气时的模糊
- 阴影—阻挡光照的效果
- 柔和阴影—模拟光的衍射下的阴影
- 反射—镜子或者非常光滑的反射
- 透明—固体明显允许光线穿过
- 半透明—光线通过固体高度散射
- 折射—与透明相关的光线弯曲
- 间接照明—表面由其它表面反射的光照亮，而非光源直接照亮
- 焦散（caustics）—间接照明的一种形式，光滑物体反射的光线或者通过透明物体生成的聚焦光线在其它物体上形成照亮区域
- 景深—当物体在焦距物体前后太远时出现模糊
- 运动模糊—由于物体高速运动或者照相机运动而导致的物体模糊
- 真实感渲染—看起来较像现实世界的三维渲染
- 非真实感渲染—用艺术风格渲染场景，使它看起来象油画或者素描

## 技术

研究人员已经开发出了许多渲染算法，这些算法使得渲染软件能够使用多种不同的技术来生成最终的图像。

对场景中的每一束光线进行跟踪是不太现实的，这需要消耗大量的时间。如果没有对采样进行适当的约束，那么即使只跟踪一部分光线以生成图像，也会需要大量的时间。

所以，大致可以分为四类的更加高效的光线传输模型技术就应运而生。第一类是栅格化，包括扫描线渲染，这种方法考虑场景中的物体并将它们投影一幅图像，但是缺乏一些高级的视觉效果；第二类是光线投射，将场景从不同视角观察，只根据几何与反射强度的基本光学原理计算观察到的图像，也可能使用蒙特·卡罗方法减少人为噪声；第三类是辐射着色，使用有限元分析方法模拟光线在表面的散射；第四类是光线跟踪，类似于光线投射，但是使用了更加先进的光学模拟方法，并且通常使用蒙特·卡罗方法以实现更加真实的结果，但是这样做的代价通常是速度的大幅度降低。

为了在可接受的成本范围内实现优质的结果，大多数高级软件会组合使用多种技术。

### 扫描线渲染与栅格化

图像的高级表示需要包含与像素不同的元素，这些元素被称为基元。在示意图中，线段和曲线是基元；在图形用户界面中，窗口和按钮是基元；在三维渲染中，三角形和空间多边形是基元。

在像素到像素的渲染速度过慢以至于无法实现的任务中，基元到基元的实现方法就可能派上用场。在这种方法中，循环遍历每个基元以确定它将影响图像中的哪个像素，然后相应地修改那个像素。这种方法称为栅格化，这是当今所有图形卡都使用的渲染方法。

栅格化通常要比像素到像素的渲染速度快。首先，图像中的大块区域可能根本没有基元，栅格化可以忽略这些区域，而像素到像素的渲染方法却必须遍历这些区域；其次，栅格化可以提高缓存一致性，并且可以利用图像中同一个基元占据的像素通常是连续的这样一个事实来减少冗余操作。正因如此，栅格化通常是需要交互式渲染的场合选择的一种方法，但是像素到像素的实现方法通常可以生成更高质量的图像，同时由于没有栅格化那么多的前提条件，所以更加通用。

栅格化主要有两种形式。第一种是对整个表面或基元进行渲染，同时将表面顶点全部进行渲染。第二种是通过简单的颜色混合相邻顶点来渲染位于顶点之间的表面上的像素。这种方法不需要使用复杂的纹理来实现图像的连续性，因此已经取代了旧的栅格化方法。此外，由于简单的纹理可以节省内存空间，所以即使图形卡的浓淡效果处理功能已经很繁重，仍然可以得到较好的性能。旧的方法如果不使用复杂的纹理，就会在图像逐个表面覆盖纹理的时候形成块状效应，并且，由于像素之间没有颜色渐变，所以表面看起来也并不光滑。在某些情况下，设计人员会在某些表面上使用栅格化的方法，而在另一些表面上，他们会根据这些表面相对于其它相交表面的角度使用其他的方法。这样做既可以提高处理速度，又可以保证整体效果。

### 光线投射

光线投射主要应用于实时模拟场景，如三维电脑游戏和动画。在这些场合，细节的重要性较低，或是可以通过人为制造细节来提高计算效率。这种情况通常出现在需要生成多帧图像的动画中。如果不使用其它的技巧，这种方法得到的物体表面通常看起来比较扁平，类似经过光滑处理的物体的糙面。

建立的几何模型从外部观察点开始，逐点、逐线进行分析，类似从观察点投射出光线。当光线与物体交叉时，可以用几种不同的方法来计算交叉点的颜色。其中最简单的方法是用交叉点处物体的颜色表示该点的实际颜色；也可以用纹理映射的方法来确定；另一种更加复杂的方法是仅仅根据照明因数变更颜色值，而无需考虑与模拟光源的关系。为了减少人为误差，可以对多条相邻方向的光线进行平均。

此外也可以对光的特性进行大致的模拟：简单计算从物体到观察点的光线。其他一些计算涉及到从光源到物体的入射角，以及根据光源的强度计算像素的亮度值。还有一些模拟使用辐射着色算法绘制的照明结果，或者使用这两种信息的组合。

### 辐射着色

辐射着色是模拟反射光线如何反射到其它表面以及如何照亮周围环境的方法。这种方法可以生成较为真实的浓淡效果，并且更加易于捕捉室内场景的环境光。一个经典的例子就是墙角处阴影的样子。

这种模拟的光学基础是特定物体表面某一点的漫反射的光线散布在在很大的方向范围内并且会照亮周围的环境。

各种模拟技术的复杂性可能会有所不同。许多渲染方法所用的辐射着色模型都非常原始，它们只是简单地根据环境因数变化照亮整个场景。但是当高级的辐射着色与高质量的光线跟踪算法组合在一起使用的时候，它们能够生成相当真实的图像，尤其是对于室内场景更是这样。

在高级的辐射着色模拟中，递归的有限元分析算法不断地将光线在模型表面之间来回反射，直到达到一定的递归条件为止。这样一个表面的色彩就会影响其它相邻表面的色彩，反之亦然。整个模型（有时也包括空白空间）的照明结果保存起来，在光线投射或者光线跟踪模型中作为输入使用。

由于这项技术的递归特性，所以对于复杂物体的模拟速度非常缓慢。一些先进的辐射着色计算方法可能只计算房间中从墙面、地板与房顶反射的环境光，而并不计算复杂物体反光对于辐射着色的影响，或者在辐射着色计算中使用使用同样尺寸及纹理的简单物体取代复杂物体。

如果场景中需要重排的辐射着色物体很少，那么可以在多帧画面中重复使用同样的辐射着色数据，这样就使得辐射着色一方面可以改进光线投射中的扁平效果，另外一方面每帧的渲染时间也不会受到很大的影响。

正因为如此，辐射着色已经成为领先的实时渲染方法，并且已经用于最近大量著名的长篇三维动画电影从头到尾的制作过程。

### 光线跟踪

光线跟踪是扫描线渲染和光线投射技术的延伸，它能够有效处理复杂物体，并且可以用数学方法描述物体。与扫描线渲染和光线投射不同的是，光线跟踪几乎完全采用了蒙特·卡罗方法，蒙特·卡罗方法是一种基于从模型中随机抽取一组采样进行平均的技术。

在这种方法中，采样是假想的从场景物体发出与观察点相交的光线。在重点考虑阴影、折射与反射等需要复杂精确渲染的场合这种方法就可以派上用场。

在最终要求产品质量渲染效果的光线跟踪中，通常每个像素都要多条光线，并且不仅仅跟踪到第一次相交，而是需要按照“入射角等于反射角”这样的光学定律以及更加高级的处理折射与粗糙表面反射的定律处理多次连续反射。

一旦光线遇到光源或者更可能出现的是光线反射次数已经达到设定的限制，那么最终点的表面照明就通过上面的方法确定下来，并且经过多次反射发生的变化也可以用来估计在观察点看到的亮度。每个采样点、每个像素都要重复这个过程。

在有些场合中每个交点可能生成多条光线。

作为一种非常有效的方法，光线跟踪的实时处理速度太慢，直到最近也没有在任何要求质量的短片电影中获得应用，尽管它已经开始在一些特殊效果要求的场合开始使用，如在需要高质量甚至是Photorealistic的脚本片断的广告中开始使用。

但是，降低不需要高质量细节部分的或者与光线跟踪特性无关部分的计算量的努力已经使得光线跟踪的应用更加广泛。目前已经出现了一些至少已经处于原型阶段硬件加速的光线跟踪设备，在一些游戏演示中也有实时软件或者硬件光线跟踪的应用。

## 优化

### 艺术家构建场景的时候所用的优化方法

由于所需计算量非常大，一项逐步进行的工作的细节渲染通常对应于当时工作的进度。因此，在建模的开始阶段可以使用线框模型或者光线投射进行处理，即使是最终的目标结果是要使用辐射着色的光线跟踪也可以这么做。另外也经常只对一部分进行高质量的渲染，而对于当前工作无关紧要的部分剔除出去。

### 实时渲染中常用的优化方法

对于实时渲染，适当的做法是简化一个或者多个共同的近似，需要将关键场景的参数调整到正确的值，并且要优化这些参数以获得最佳效果。

另外还有些一些不太出名的渲染方法，如球谐函数。这些技术由于速度较慢、缺少实用性或者仅仅因为它们还不太完善所以不太出名，或许其中的某些技术能够提供一些新的解决方案。

## 采样与滤波

不管系统采用哪种渲染方法，都必须解决采样问题。本质上来讲，渲染过程试图用有限数目的像素将图像空间的连续函数表现成颜色。根据采样定理的结论，扫描频率必须是点速（dot rate）的两倍，点速与图像分辨率成正比。用简单的话来说就是图像不能显示小于一个像素的细节。

如果使用一个未经验证的渲染算法，那么图像函数中的高频成分将会导致最终图像中出现难看的混叠现象。混叠现象通常表现为锯齿图或者是可见像素栅格处的锯齿边。为了去除混叠现象，所有的渲染算法如果想要生成好看的图像的话都必须对图像函数进行滤波以去除高频成分，这个过程叫作抗混叠。

## 电影渲染

电影渲染通常在一个紧密相连的计算机组成的网络渲染集群（render farm）。

当今用于电影制作三维图像描述发展水平代表是Pixar设计的RenderMan 场景描述语言。它与VRML这样较简单的三维文件格式或者是经过修改专门用于三维硬件加速的OpenGL以及DirectX等应用程序编程接口（Application programming interface）有所不同。

电影渲染软件包括：

- Renderman
- Mental Ray（已停止开发）
- Brazil R/S
- LightWave（包括建模模块）
- Cycles （内建于Blender,有Cinema 4D的外挂）
- V-Ray

## 理论基础

真实感渲染的实现都是某种程度的物理仿真 —一些计算都是真实物理过程的模拟或抽象。

“基于物理”这个术语表示是使用在渲染领域之外也被广泛接受的物理模型或者近似，在渲染领域逐渐建立起了相关的特殊技术。

这些物理基本概念都相当直白，但是却难于以少数的计算，得到精确且完整的结果；一个非常优秀的算法或者实现方法对于更加通用的渲染目的来说却可能难以理解。为了满足健壮、精确及实用的要求，实现方法都必须是多项不同技术的复杂组合。

渲染研究工作主要集中在科学模型的改进及其高效应用。

### 渲染方程

渲染方程是渲染中的一个核心理论概念，它是渲染不可感知方面的最抽象的正式表示，所有更加完善的算法都可以看作这个方程特殊形式的解。

$$L_o(x, \vec w)= L_e(x, \vec w) + \int_\Omega f_r(x, \vec w', \vec w) L_i(x, \vec w') (\vec w' \cdot \vec n) d\vec w'$$

含义是：在一个特定的位置与方向，出射光Lo)是发射光Le与反射光之和。反射光是所有方向入射光之和Li乘以表面反射率及入射角。通过交叉点，这个方程将入射光与出射光联系在一起，它代表了场景中完整的光线传输即光线的所有运动。

### 双向反射分布函数

双向反射分布函数（BRDF）描述了一个光线与物体表面相互作用的简单模型：

$$f_r(x, \vec w', \vec w) = \frac{dL_r(x, \vec w)}{L_i(x, \vec w')(\vec w' \cdot \vec n) d\vec w'}$$

光线相互作用通常用更加简单的模型进行近似：漫反射与镜面反射。这两种都可以是双向反射函数。

### 几何光学

实际上渲染是完全关于光物理粒子性方面研究的技术，即几何光学。将光在本质上看作跳动的光子这种简化是合适的：在大多数场合下，光的波动性是可以忽略的，并且也非常难于模拟。著名的光波动现象有衍射，如CD以及DVD上的颜色，以及如LCD上看到的极化现象。如果这两种类型的效果，通常对反射模型进行针对表现效果的调整。

### 视觉

尽管很少受到关注，但是对于人类视觉的理解对于渲染来说非常重要，这是因为图像显示与人类视觉都有一定的约束范围。渲染工具几乎可以模拟无限范围的亮度与颜色，但是电影、显示器等当今的显示设备都不能处理这么大的范围，通常都需要压缩甚至舍弃一部分信息。人类视觉也有类似的限制，因此不需要为了真实感而使用很大范围的图像。视觉研究可以帮助解决将图像用显示器显示的问题，以及建议渲染中使用哪些捷径，一些细微的信息是无法感知的。这个相关的主题是色调映射。

在渲染中使用的数学基础有：线性代数、微积分、数值分析、数字信号处理以及蒙特·卡罗方法。

## 重要思想出现的年代表

- 1970 扫描线算法 (Bouknight, W. J. (1970). A procedure for generation of three-dimensional half-tone computer graphics presentations. Communications of the ACM)
- 1971 Gouraud shading (Gouraud, H. (1971). Computer display of curved surfaces. IEEE Transactions on Computers 20 (6), 623–629.)
- 1974 纹理映射 (Catmull, E. (1974). A subdivision algorithm for computer display of curved surfaces. PhD thesis, University of Utah.)
- 1974 深度缓冲 (Catmull, E. (1974). A subdivision algorithm for computer display of curved surfaces. PhD thesis)
- 1975 Phong shading (Phong, B-T. (1975). Illumination for computer generated pictures. Communications of the ACM 18 (6), 311–316.)
- 1976 环境映射（Blinn, J.F., Newell, M.E.（1976）. Texture and reflection in computer generated images. Communications of the ACM 19, 542–546.）
- 1977 阴影体 (Crow, F.C. (1977). Shadow algorithms for computer graphics. Computer Graphics（Proceedings of SIGGRAPH 1977）11 (2), 242–248.)
- 1978 阴影缓冲 (Williams, L. (1978). Casting curved shadows on curved surfaces. Computer Graphics（Proceedings of SIGGRAPH 1978）12 (3), 270–274.)
- 1978 凸凹纹理映射 (Blinn, J.F. (1978). Simulation of wrinkled surfaces. Computer Graphics（Proceedings of SIGGRAPH 1978）12 (3), 286–292.)
- 1980 BSP trees (Fuchs, H. Kedem, Z.M. Naylor, B.F. (1980). On visible surface generation by a priori tree structures. Computer Graphics（Proceedings of SIGGRAPH 1980）14 (3), 124–133.)
- 1980 光线跟踪 (Whitted, T. (1980). An improved illumination model for shaded display. Communications of the ACM 23 (6), 343–349.)
- 1981 Cook shader (Cook, R.L. Torrance, K.E. (1981). A reflectance model for computer graphics. Computer Graphics（Proceedings of SIGGRAPH 1981）15 (3), 307–316.)
- 1983 Mipmaps (Williams, L. (1983). Pyramidal parametrics. Computer Graphics（Proceedings of SIGGRAPH 1983）17 (3), 1–11.)
- 1984 八叉树光线跟踪 (Glassner, A.S. (1984). Space subdivision for fast ray tracing. IEEE Computer Graphics & Applications 4 (10), 15–22.)
- 1984 Alpha compositing (Porter, T. Duff, T. (1984). Compositing digital images. Computer Graphics（Proceedings of SIGGRAPH 1984）18 (3), 253–259.)
- 1984 分布式光线跟踪 (Cook, R.L. Porter, T. Carpenter, L. (1984). Distributed ray tracing. Computer Graphics（Proceedings of SIGGRAPH 1984）18 (3), 137–145.)
- 1984 辐射着色 (Goral, C. Torrance, K.E. Greenberg, D.P. Battaile, B. (1984). Modelling the interaction of light between diffuse surfaces. Computer Graphics（Proceedings of SIGGRAPH 1984）18 (3), 213–222.)
- 1985 半立方辐射着色 (Cohen, M.F. Greenberg, D.P. (1985). The hemi-cube: a radiosity solution for complex environments. Computer Graphics（Proceedings of SIGGRAPH 1985）19 (3), 31–40.)
- 1986 光源跟踪 (Arvo, J. (1986). Backward ray tracing. SIGGRAPH 1986 Developments in Ray Tracing course notes)
- 1986 渲染方程 (Kajiya, J.T. (1986). The rendering equation. Computer Graphics（Proceedings of SIGGRAPH 1986）20 (4), 143–150.)
- 1987 Reyes algorithm (Cook, R.L. Carpenter, L. Catmull, E. (1987). The reyes image rendering architecture. Computer Graphics（Proceedings of SIGGRAPH 1987）21 (4), 95–102.)
- 1991 分级辐射着色 (Hanrahan, P. Salzman, D. Aupperle, L. (1991). A rapid hierarchical radiosity algorithm. Computer Graphics（Proceedings of SIGGRAPH 1991）25 (4), 197–206.)
- 1993 色调映射 (Tumblin, J. Rushmeier, H.E. (1993). Tone reproduction for realistic computer generated images. IEEE Computer Graphics & Applications 13 (6), 42–48.)
- 1993 Subsurface scattering (Hanrahan, P. Krueger, W. (1993). Reflection from layered surfaces due to subsurface scattering. Computer Graphics（Proceedings of SIGGRAPH 1993）27 , 165–174.)
- 1995 光子映射 (Jensen, H.J. Christensen, N.J. (1995). Photon maps in bidirectional monte carlo ray tracing of complex objects. Computers & Graphics 19 (2), 215–224.)

## 图书资料

- Foley; Van Dam; Feiner; Hughes (1990). Computer Graphics: Principles And Practice. Addison Wesley. ISBN 0-201-12110-7.
- Glassner (1995). Principles Of Digital Image Synthesis. Morgan Kaufmann. ISBN 1-55860-276-3.
- Pharr; Humphreys (2004). Physically Based Rendering. Morgan Kaufmann. ISBN 0-12-553180-X.
- Dutre; Bala; Bekaert (2002). Advanced Global Illumination. AK Peters. ISBN 1-56881-177-2.
- Jensen (2001). Realistic Image Synthesis Using Photon Mapping. AK Peters. ISBN 1-56881-147-0.
- Shirley; Morley (2003). Realistic Ray Tracing (2nd ed.). AK Peters. ISBN 1-56881-198-5.
- Glassner (1989). An Introduction To Ray Tracing. Academic Press. ISBN 0-12-286160-4.
- Cohen; Wallace (1993). Radiosity and Realistic Image Synthesis. AP Professional. ISBN 0-12-178270-0.
- Akenine-Moller; Haines (2002). Real-time Rendering (2nd ed.). AK Peters. ISBN 1-56881-182-9.
- Gooch; Gooch (2001). Non-Photorealistic Rendering. AKPeters. ISBN 1-56881-133-0.
- Strothotte; Schlechtweg (2002). Non-Photorealistic Computer Graphics. Morgan Kaufmann. ISBN 1-55860-787-0.
- Blinn (1996). Jim Blinns Corner - A Trip Down The Graphics Pipeline. Morgan Kaufmann. ISBN 1-55860-387-5.
- Description of the 'Radiance' system