system: [SYSTEM]

user: 3. 结果 我们使用召回(Recall， REC)，准确率(Precision，PRE)和F1值(F1-Score，F1)以及总体准确度(accuracy， ACC)来评估模型A与模型B的分类表现。其中准确率PRE表示被模型预测为正例的样本中实际也是正例的比例；召回率REC，又称查全率，是一种覆盖面的衡量标准，表示样本中的正例有多少被预测正确。其中指数MF1指的是每个睡眠期的所有F1的平均值。ACC表示正确数量的睡眠阶段时期分类与所有睡眠阶段时期的比例。REC，PRE，F1值，ACC与MF1的计算方法分别如下： P R E = T P T P + F P ， R E C = T P T P + F N (1) F 1 = 2 P R E * R E C P R E + R E C (2) A C C = ∑ c = 1 C T P c N (3) M F 1 = ∑ c = 1 C F 1 c C (4) 其中方程3.3中的 是每个类中被预测为正确的数量，F1 c 是某一类的F1分数，C是睡眠分期的数量，N是所有的30秒样本数量。TP是真阳性，FN是假阴性和FP是假阳性。 3.1. 基于单通道EEG的模型结果 在单通道模型中，时长为30秒的EEG信号样本总数是41，000，实验使用5折交叉验证方法来评估模型的性能。因此，取出总样本的20%作为测试集，这些样本没有参与模型的训练，只作为测试集。在下面的内容中，表2显示模型在每个实验中的测试集的平均性能。 表2显示了使用模型A从睡眠期的单通道EEG信号的实验获得的混淆矩阵。该实验的总体准确度ACC为79.92%。在表2中，每行和每列分别表示由睡眠专家判断并通过模型A预测的30秒EEG信号和EOG信号的睡眠分期的数量。 Table 2 Confusion matrix obtained from experiment on single channel EEG signals using our mode W N1 N2 N3 REM PRE REC F1 W 6601 728 373 74 391 0.871 0.808 0.838 N1 292 1399 829 27 539 0.454 0.453 0.454 N2 311 498 13362 1353 676 0.853 0.825 0.839 N3 28 8 490 5362 202 0.786 0.880 0.831 REM 350 447 609 6 6045 0.770 0.811 0.790 ACC = 79.92%，MF1 =74.99% 表2. 使用基于单通道EEG的模型获得的混淆矩阵 为了评估模型A的性能，模型结果与几种现有方法的结果进行比较。需要说明的是这些方法都是采用Fpz-Cz通道EEG数据。我们应用这些现有方法，因为它们的结果也基于模型A在本研究中使用的数据集，即福建省某睡眠中心医院数据集，表3列出了比较结果。根据表3，对于相同数据集，模型A达到了最佳性能参考的准确性。 Table 3 Accuracy comparison matrix with other metho 模型 作者 方法 基于公开数据集PhysioNet准确率 基于福建省某医院睡眠中心数据准确率 模型1 Akara Supratak (2017) [ 16 ] CNN and LSTM 81.50% 70.52% 模型2 Liangjie We (2017) [ 32 ] Time-Frequency CNN 82.86% 72.60% 模型A Wang and Xu et al. Based the multi-channels EEG and CNN 79.23% 79.92% 表3. 与其他方法的精度比较矩阵 模型A比其他的单通道模型具有更好的性能，尽管它们都具有良好的性能，图5显示出了由睡眠专家分期的其中一位受试者一整夜的多导睡眠图的比较，即睡眠专家分期结果与模型A的结果对比。可以看出模型A是最优的，相对来说，对于福建省某睡眠中心医院数据集，模型2的分期结果是最差的。 图5. 睡眠专家分期的睡眠结构图和我们提出的模型A的结果比较 从表3来看，基于公开数据集模型1与模型2具有很好的性能，而当我们应用这两个模型测试于福建省某医院睡眠中心数据集时，发现模型A优于这两个模型，说明这些模型的泛化能力还是不足，依旧有很大的提升空间。反观模型A应用于福建省某医院睡眠中心数据集时却有更好的表现，相对来说有很强泛化能力。分析原因不乏有模型1与模型2本身是以健康人群的数据为训练数据，而模型A是以福建省某医院睡眠中心数据为训练数据，是采集自有睡眠障碍患者的数据集，具有很大的多样性，直观上可以从图5看出。接下来我们将主要对多通道模型B的结果进行分析与讨论。 3.2. 基于多通道EEG与EOG的模型结果 由图2可见，睡眠期30秒EEG信号样本的总数是130130，实验使用5折交叉验证来评估模型的性能。因此，取出总样本的20%作为测试集，这些样本没有参与模型B的训练，只作为测试集。下面的内容将显示模型B在每个实验中的测试集的平均性能。表4显示了使用模型B在多通道EEG和EOG信号的实验获得的混淆矩阵。总体上来看，该实验的总体准确度ACC为81.93%。 Table 4 Confusion matrix obtained from experiment on multi-channel EEG signals using our proposed mode W N1 N2 N3 REM PRE REC F1 W 58875 2562 508 68 121 0.922 0.948 0.935 N1 2963 3962 3602 39 772 0.407 0.349 0.376 N2 935 1655 33600 1204 852 0.777 0.879 0.852 N3 95 51 2646 4299 50 0.763 0.602 0.673 REM 965 1503 2885 28 5863 0.766 0.521 0.620 ACC = 81.93%；MF1 =68.60% 表4. 使用基于多通道信号的CNN模型获得的混淆矩阵 正如表4所示，模型B的ACC达到了更高的值，表明模型B具有良好的性能。实验中最显著的结果是W，N2和N3的睡眠期具有优异的分类性能。例如，W期分类的准确率接近92%，N2和N3期接近77%。模型B在期REM上的表现略差，但其REC仍然超过76%。可以看出，N1期具有最差的分类性能，因为N1期主要被错误地分类为W期和N2期。从各个期的特征波来看，原因可能是背景EEG波与三个睡眠期非常相似。另一个原因可能是缺乏N1期的样本，平均每一个人的整夜睡眠中，仅有大约70个30秒的EEG信号属于N1期，五个期的分布不均可能导致使用CNN模型的N1期的分类结果差。因此，我们对N1期的数据做了数据增强，提取全部N1期数据拼接成总长度为81 h的数据，然后去除数据前10 s，再重新以30 s逐一切割，从而减少数据不平衡带来的误差。因为这样错位10 s的数据，既可以实现数据增强，又可以实现数据的多样性。从以上工作来看，没有对EEG信号本身进行额外的预处理。 Table 5 Accuracy comparison matrix with other metho 模型 作者 方法 基于公开数据集PhysioNet准确率 基于福建省某医院睡眠中心数据准确率 模型-3 Fraiwan. et al.(2015) [ 33 ] Based on time-frequency analysis of and random forest classifier 79.23% 70.45% 模型-4 Orestis Tsinalis， et al. (2016) [ 34 ] Using Convolutional Neural Networks 74.00% 63.850% 模型-B Wang and Xu et al. Based the multi-channels EEG and CNN 80.05% 81.93% 表5. 与其他方法的精度比较矩阵 为了评估模型B的性能，我们与几种现有方法进行了比较。因为它们的结果也基于模型B在本研究中使用的数据集，即福建省某医院睡眠中心的数据集。表5列出了比较结果，由表5可见，模型B达到了最佳性能，并且有着优于模型3与模型4的分期准确率。可以将这两个模型应用于更多可用数据集，并将结果与这些模型进行比较，以显示模型B的泛化能力。从结果中可以看出，我们的多通道EEG和EOG模型在福建省某医院睡眠中心数据集是优于现有的多通道模型方法。由于模型使用的数据是有睡眠障碍患者的数据，这说明模型B泛化能力显然高于公开数据集的模型。 虽然模型3与模型4都具有良好的性能，模型B比模型3与模型4具有更好的性能，图6显示出了由睡眠专家分期的代表性样本的一整夜的多导睡眠图PSG的比较，即睡眠专家分期结果与模型B的结果对比。从不同模型的分期结果来看，模型B有着显著的优势。模型B与原标签基本一致，错误的部分大多数为清醒期与N1期，N3期与N4期的错误分类其次。 图6. 睡眠专家分期的睡眠结构图和我们提出的模型B以及文献方法结果比较