system: [SYSTEM]

user: 2. IFNN模型原理 2.1. 小波变换 小波变换作为处理非平稳信号的方法，它通过变化的“时间–频率”窗口去提取时序信号中的局部信息，从而对信号的局部信息进行表征。这种局部分析方法为信号在低频上的不突出和高频上的过多干扰提供了有效的降噪措施。其小波变换表达式如下 D W ( 2 − j ， 2 − j k ) = 1 2 j ∫ − ∞ + ∞ f ( t ) y ( t − 2 j k 2 j ) d t (1) 其小波逆变换为： f ( t ) = A ∑ j = − ∞ + ∞ ∑ k = − ∞ + ∞ D W ( 2 j ， 2 j k ) ψ ( 2 j ， 2 j k ) ( x ) (2) 在式(1-2)中， f ( t ) 是原始信号， ψ ( t ) 是小波母函数， 2 − j 是伸缩因子， 2 − j k 是平移因子，A一个与号无关的常数。 2.2. 1D卷积神经网络 卷积神经网络是由若干滤波器组成的多级神经网络。过滤器的设计用于从输入中提取特征，输入包含两种层：卷积层和池化层。下面将分别描述每种类型的层的作用。 卷积层将输入的局部区域与滤波器的多个内核进行卷积，然后由激活单元产生输出特征。滤波器使用不同的内核来提取输入局部区域的不同局部特征。一个滤波器包含了不同的内核，而内核的多少表式该滤波器的大小。我们用 K i l ， b i l 分别表示层l中第i个滤波器内核的权值和偏置，用 x l ( j ) 表示层l中的第j个局部区域。因此，卷积过程可描述如下： y i l + 1 ( j ) = K i l * x l ( j ) + b i l (3) 这里*表示局部区域与滤波器内核的权值的卷积运算， y i l + 1 ( j ) 表示第l + 1层第i个内核的第j个神经元的输入。 在卷积运算后，激活函数是必不可少的。它使神经网络能够获得输入信号的非线性表达，提高了表示能力，使学习到的特征更加具有可分性。近年来，整流线性单元(Relu)被广泛用作激活单元，以加快CNN的收敛速度。当使用反向传播学习方法调整参数时，relu使浅层的权重更容易训练。RELU的公式如下： a i ( l + 1 ) ( j ) = f ( y i ( l + 1 ) ( j ) ) = max { 0 ， y i ( l + 1 ) ( j ) } (4) 其中 y i l + 1 ( j ) 是卷积运算的输出值， a i l + 1 ( j ) 是 y i l + 1 ( j ) 的激活值。 在卷积神经网络结构中，通常在卷积层之后添加池化层。它作为一种下采样操作，用于减少了卷积神经网络的特征空间大小和参数。最常用的池化层是最大池化层，其对输入特征执行局部最大操作，以减少参数并获得信号的表征。最大池转换描述如下： p i l + 1 ( j ) = max ( j − 1 ) W + 1 ≤ t ≤ j W { q i l ( t ) } (5) 其中 q i l ( t ) 表示l层第i个卷积内核的t神经元的值， t ∈ [ ( j − 1 ) W ， j W ] ，W为池化内核的宽度， p i l + 1 ( j ) 表示池化操作后的神经元的值。 2.3. IFNN模型的提出 CNN强大的自提取特征的能力。已经很好地应用于轴承诊断领域，但是其特点都是采用的小的卷积核，虽然小的卷积核能很优秀的学习到局部特征，但是却容易丢失关联信息。 例如信号是非平稳性信号，这就使得需要传递的信息未能被完全学习，从而导致模型训练造成的低精度。此外，小内核容易受到外部环境中常见的低频噪声的影响。因此，为了使内核拥有足够大的接收场以捕获低频信号的有用信息，也能接受高频振动的有用信息。我们将单小内核卷积神经网络进行改进，通过大内核的形式将高低频信息全部得到有效提取，同时利用传统方法将轴承信号的时频域特征进行提取，使得两类不同性质的特征进行相互作用，从而将其泛化能力和性能进一步提高。我们提出了的模型的一个输入为该卷积核以大卷积核阶梯减小的CNN模型。这样能使得模型结构加深，学习到的特征更具表达性。另一个输入轴承信号的传统特征，然后将这两类不同特征进行融合操作，并在其后添加全连接层，其功能是通过全连接降低输出参数，达到降维目的。同时由于DNN也拥有优化特征的能力。这样的结合使得模型的性能有了进一步的提高。 互扰神经网络(Interference neural network)。即本文提出了一种自适应的IFNN模型。每个部分的详细信息将在下面的部分中描述。 2.3.1. IFNN模型 如图1所示，CNN的输入是轴承诊断信号。第一个卷积层从被截获的原始信号中提取特征，而不进行任何其他转换。不同之处在于，本文采用大的内核去提取相关特征信息。通过自学习的方式剔除噪音信息。 它包括特征提取阶段和分类阶段。特征提取阶段不同之处在于，它具有两个不同的输入端，其中一个输入端拥有7层CNN的基本结构，但是它通过大的卷积核进行特征提取操作。而另一个输入端拥有3层DNN的基本结构。其通过全连接的方式将传统特征进行加工。然后得到的两个维度的特征进行融合，这样做的目的是为了使信息交融。通过这种方法使得所得到的特征相互干扰，从而形成一种相互促进的机制，进一步使得学习到的特征具有更深层的表达。 其分类阶段由一个全连接层，并利用Softmax函数对3个神经元进行逻辑变换，使之符合不同条件下的概率分布。而softmax函数的形式为： t ( z j ) = e z j ∑ k = 1 n e z k (6) 其中 z j 表示第j个输出逻辑神经元的值。 图1. 提出的IFNN模型结构 2.3.2. IFNN的训练 IFNN模型的结构是为输入信号为一维序列数据而设计的，有关IFNN结构的详细信息将在第三节中给出。传统的二维CNN和一维CNN的主要结构差异在于是处理数据的维度，而一维CNN使用一维内核和一维特征映射。另外，在反传播过程中，与二维卷积(卷积2D)和横向旋转(旋转180)不同的是，是通过一维卷积和逆卷积进行反向传播的。在这一部分中，我们将详细阐述利用反向传播算法对IFNN进行训练的过程。 我们的IFNN模型的损失函数是Softmax输出的概率分布与目标类的概率分布之间的交叉熵。用 y ( i ) 表示第i个逻辑神经元的目标概率， y ¯ ( i ) 表示第i个逻辑神经元的预测概率。从而该损失函数的表达式为： J ( w ， b ) = L ( y ¯ ( i ) ， y ( i ) ) = − 1 m ∑ i = 1 m ( y ( i ) log ( y ¯ ( i ) ) ) + ( 1 − y ( i ) ) log ( 1 − y ¯ ( i ) ) (7) 完全连接的层与BP中的层完全相同。具体来说，设 χ ( l ) 是交叉熵损失J在l + 1层对l层产生的误差。其中 ( W ， b ) 是对应于l到l + 1层的权值和偏置。最后L层的损失误差表达式为： χ ( l ) = ( ( W ( l ) ) T χ ( l + 1 ) ) f ′ ( z ( l ) ) (8) 并通过梯度下降算法对参数迭代更新，公式如下： W i j ( l ) = W i j ( l ) − α ∂ J ∂ W i j ( l ) (9) b i ( l ) = b i ( l ) − α ∂ J ∂ b i ( l ) (10) 其中 α 为学习率。 而对于池化层来说，由于其没有参数，所有不需要进行权值更新，因此只需要对其输入求导。其表达式为： ∂ g ∂ x i = { 1 ，         if   x i = max ( x ) 0 ，                 其 他 (11) g ′ n = ∂ g ∂ x ( n − 1 ) m + 1 : n m (12) 其中 g ′ n 表示第n个池化操作。 χ ( n − 1 ) m + 1 : n m x = χ n ( y ) g ′ n = ∂ J ∂ y n ∂ y n ∂ x ( n − 1 ) m + 1 : n m = ∂ J ∂ x ( n − 1 ) m + 1 : n m (13) 最后，对于计算滤波器的梯度，我们将使用卷积运算，并反转误差矩阵，因此表达式为： χ ( l − 1 ) = ( ∂ a l ∂ a l − 1 ) T χ l = χ l rot 180 ( W l ) ∗ f ( a l − 1 ) (14) 其中rot180表示将卷积内核反转180度。