system: [SYSTEM]

user: 4. 实例验证 首先将数据进行样本划分，通过小波变换和时域信息提取等算法计算每个样本的低级特征，然后将获得的低级特征与对应的原始样本划分成训练集、验证集和测试集，最后将获得的训练集输入到IFNN模型进行训练，通过训练使模型达到最优，最后用测试集评估IFNN的性能，为了对比所提方法的优越性，使用与1DCNN相同结构深度学习模型和多隐层神经网络作为对比分析。具体实验流程图如图3所示。 4.1. 特征提取 特征提取包括从原始切片信号中提取时间、频率和时频域特征。从机械部件如故障轴承中获取的信号通常是非平稳的，这意味着信号的频率分量随时间的变化而变化。因此，提取时频特征是必要的。在本工作中，小波包分解(WPD)用于提取时频特征。原始信号分解至5级。求1到5级的详细系数和近似系数并从中计算小波能量。利用快速傅里叶变换(FFT)和功率谱密度(PSD)提取频域特征。从每个信号共提取44个特征。然后该特征集和对应的切片信号输入到IFNN模型中进行特征提取。为了分析IFNN网络对特征的判别能力，分别将原始切片信号、提取特征和通过IFNN模型获得的特征用t-SNE技术进行可视化比较。文献 [ 15 ] 详细的介绍了t-SNE理论。可视化结果如图4所示，图4(a)为原始切片信号经过t-SNE后的散点图，从图中可以看出，3种类型的散点状态相互之间有交叉和重叠，呈现出了没有规则的聚集状态，这说明原始特征集类与类之间的特征存在冗余，导致总体呈现出了较差的聚集状态。图4(b)为特征提取的特征经过t-SNE后的散点图，从图中可以看出，3种类型在类与类之间呈现出了有一定规则的聚集状态，整体上观察，类之间的距离还是特别相近，但是有相互分离的趋势，这也是该特征在IFNN模型中对1DCNN模块具有促进作用的原因。图4(c)为IFNN模型学习所得的特征经过t-SNE后的散点图。该图表明类内间距明显变小，类间距明显增大，此外，类与类之间存在的交叉和重叠只在分类边界存在，总之，呈现出了较好的可分性。这些说明IFNN模型对原始特征的学习能力较强，在保留原始特征的内在结构的同时，并消除原始特征之间的冗余，对原始特征进行抽象的提取，使原始特征得到优化，从而使高级特征对轴承的分级和诊断变得更有效。 图3. 实验流程框图 图4. 特征可视化分析。(a) 原始信号特征散点图；(b) 特征提取的特征散点图；(c) IFNN优化特征散点图 4.2. 模型参数 IFNN模型架构由一个卷积特征提取单元和一个完全连接的特征优化单元组成，最后是一个分类层。结合本实验的实际需要，确定的模型结构如图1所示。模型的结构参数将在下面详细描述。 对于一个卷积特征提取单元，由7层卷积神经网络基本单元组成。对于完全连接的特征优化单元，由3层隐藏层的全连接网络组成。然后将两个单元的输出特征进行融合操作。最后连接完全连接的分类单元。具体参数见表2。同时，每层后添加的Dropout操作，其参数为0.2。以提高模型泛化能力。同时其中选用的SGD优化器，学习率0.01。 Table 2 Parameter settings of IFNN mode 层数 层类型 卷积核数目 核大小/步长 激活函数 填充方式 输出 1 卷积层1 32 128'1/2'1 relu same [None， 2048， 32] 2 池化层1 2'1/2'1 [None， 1024， 32] 3 卷积层2 64 128'1/1'1 relu same [None， 1024， 64] 4 池化层2 2'1/2'1 [None， 512， 64] 5 卷积层3 32 64'1/1'1 relu same [None， 512， 32] 6 池化层3 2'1/2'1 [None， 256， 32] 7 卷积层4 64 64'1/1'1 relu same [None， 256， 64] 8 池化层4 2'1/2'1 [None， 128， 64] 9 卷积层5 32 32'1/1'1 relu same [None， 128， 32] 10 池化层5 2'1/2'1 [None， 64， 32] 11 卷积层6 64 16'1/1'1 relu same [None， 64， 64] 12 池化层6 2'1/2'1 [None， 32， 64] 13 卷积层7 128 16'1/16'1 relu same [None， 32， 128] 14 池化层7 2'1/2'1 [None， 16， 128] 15 全连接层1 relu [None， 128] 16 全连接层2 relu [None， 512] 17 全连接层3 relu [None， 128] 18 融合层 [None， 16] 19 分类层 Softmax [None， 3] 表2. IFNN模型的参数设置 4.3. 实验结果分析 目前由于深度学习没有的参数调节没有确定的方法，往往需要反复试验，通过实验结果微调参数，从而使得模型达到最佳。本实验一：通过调节不同的batch_size大小进行模型实验。从而查看最优的batch_size学习效果。实验二：采用IFNN模型的1DCNN深度学习模型模块和多隐层神经网络模块作为对比实验分析。 实验一中分别设置了batch_size为[32， 64， 128， 256， 512， 1024]，并使用SGD优化器，其学习率为0.01，同时采用了五折交叉验证。图5、图6分别表示在对应batch_size下的准确率和交叉熵损失值得变化情况。从图中可以看出，不同的batch_size所达到的效果并不相同，其中batch_size为128、256时曲线更加容易收敛，扰动比较小。64、512都能最终收敛，但是在收敛过程中存在不同大小的扰动情况。而32、1024存在过拟合现象。同时对测试集参数进行计算，结果如表3所示。 图5. 不同batch_size下准确率的变化情况 通过表3和前面结果分析可得虽然batch_size为125、256是收敛速度快且收敛平稳，但是在测试集中却出现过拟合现象。因此其并不是最优选择。虽然512存在收敛扰动，但是其在测试集中表现的优异性，证明了它是最合理的选择。因此最后选择512作为模型的batch_size参数。图7表示诊断结果图。从结果分析，人为损坏存在20%左右的误诊。其他诊断具有好的性能。 图6. 不同batch_size下交叉熵损失的变化情况 Table 3 Accuracy of IFNN model in different batch_siz Batch 平均准确率(%) 最高准确率(%) 最低准确率(%) 32 86.904 94.93 77.16 64 90.152 91.88 86.82 128 89.132 93.41 83.38 256 88.332 92.77 78.56 512 91.916 93.42 89.23 1024 83.738 96.10 67.80 表3. IFNN模型在不同batch_size的准确率 在实验二中采用不加融合的方式进行实验对比。分别采用卷积网络实验和使用多层全连接网络实验。其中卷积神经网络采用模型的卷积模块部分。结果如图8(a)所示，其中多层全连接采用模型的全连接部分。结果如图8(b)所示。从图8(a)能够看出，在健康状态下有没有样本被预测错误，加速损坏状态下有0.04%的样本被预测为健康，0.69%的样本被预测为人为损坏。人为损坏状态下有37.91%的样本被预测为加速损坏；从图8(a)能够看出，在健康状态下有0.48%的样本被加速损坏，加速损坏状态下有6.67%的样本被预测为人为损坏。人为损坏状态下有0.19%的样本被预测为健康，39.88%的样本被预测为加速损坏。通过对比图7和图8能够看出，IFNN在健康和加速损坏状态下具有较好的诊断能力，虽然在人为情况下的诊断能力只有80%左右，但是相对于其对比模型，其能力大幅提高。 为了进一步验证模型的有效性，采用传统机器学习算法支持向量机、朴素贝叶斯、随机森林、最近邻算法和逻辑回归进行对比实验。该实验选取稀疏自编码器进行特征提取，并将稀疏自编码器所得的特征与44维时频域特征进行整合。组成最终特征集，然后通过传统的机器学习算法进行分类。该实验结果通过5折交叉验证所得。实验结果如图9所示。从结果可以看出在随机算法与IFNN模型在训练集与验证集上的表现相差在1%左右，但是IFNN模型在测试集上的表现高随机森林算法7%。而与其余模型对比可得，IFNN模型表现性能远高于支持向量机、k最近邻、朴素贝叶斯和逻辑回归算法。这充分说明，IFNN模型在轴承损坏诊断中比对比模型更加有效。 为了验证所提方法的性能，分别对前文所用模型在测试集上的准确率、精确率、召回率和f1-score进行计算，实验结果如表4所示。从结果不难看出，本文所提出的模型在各个指标都远高于其他模型 图7. IFNN的诊断结果混淆矩阵图 图8. 对比实验的诊断结果混淆矩阵图。(a) DNN诊断结果混淆矩阵图；(b) 1DCNN诊断结果混淆矩阵图 图9. 机器学习模型与IFNN模型在不同数据集上的准确率 Table 4 Comparison results of various indicators of different model 模型 准确率(%) 精确率(%) 召回率(%) f1-score (%) 模型参数大小 训练时间 IFNN 96.09 96.48 96.10 96.08 0.6 M 12 s DNN 84.25 86.53 84.26 83.83 2 M 47 s IDCNN 87.11 90.40 87.12 86.65 7 M 243 s 随机森林算法 85.78 88.47 85.79 85.33 - - 支持向量机 72.93 78.33 72.95 69.43 - - K最近邻 80.26 84.44 80.27 78.84 - - 逻辑回归 58.83 56.87 58.85 56.69 - - 朴素贝叶斯 70.54 74.15 70.57 66.56 - - 表4. 不同模型各个指标的对比结果 的结果。同时本文所提模型在参数大小与每个epoch的训练时长都小于其他深度学习模型(由于传统机器学习方法没有用GPU加速，因此不予比较)。 除了上述性能指标外，还引入了接收器工作特性(ROC)曲线，并应用于多分类性能的可视化。ROC图描述了灵敏度(SEN)和特异性(SPE)之间的相对权衡。ROC图下的面积越大，分类性能越好。通过图10(a)~(h)图像中roc区域面积值比较，IFNN在不同的类别上，都达到了1，微观平均roc曲线和宏观平均roc曲线下的面积均大于其他模型。由此可以得出该模型的结果具有稳定性。可以用于轴承故障诊断。 图10. 不同模型的ROC曲线图