度 formula_10 是一个取自连续性均匀分布 formula_12 概率模型的随机变量，即其中 formula_14 且 formula_15。
噪声线性整流.噪声线性整流（Noisy ReLU）是修正线性单元在考虑高斯噪声的基础上进行改进的变种激活函数。对于神经元的输入值 formula_2，噪声线性整流加上了一定程度的正态分布的不确定性，即其中随机变量 formula_18。目前，噪声线性整流函数在受限玻尔兹曼机（Restricted Boltzmann Mach