system: [SYSTEM]

user: 5. 实证研究 前文以卷积神经网络为基本模型，加入先验医学知识约束，构造了风险预测模型。为了验证所提出的风险预测框架的性能，本节以卷积神经网络为基本预测模型，加入先验医学知识约束，实现基本预测模型与提出的预测模型，并进行对比。 5.1. 参数设置 实验设置诊断代码总数 | C | = 1016 ， k = 256 ，即隐藏层为256，超参数 α = β = 0.01 。对于CNN，设置过滤器窗口的大小为[2， 3， 4， 5]，其中滤波器个数为 m = 1 00 ，使用正则化(系数为0.001的范数)和dropout (退出率为0.5)抑制过拟合。 5.2. 数据集 对于训练模型，实验使用Adadelta，mini-batch大小为50。我们以0.75:0.10:0.15的比例将数据集随机划分为训练、验证和测试集。训练集用于模型拟合的数据样本，验证集是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估，测试集用来评估模最终模型的泛化能力。重复程序10次，并报告最优性能。 5.3. 实验结果 模型在python3.6.5上运行，参数设置如表1所示。 Table 1 Parameter settings for the prediction model in pytho 参数名称 参数值 参数名称 参数值 beta 0.01 visit_size 256 alpha 0.01 log_eps 1e−08 base_age 9.0 n_epoch 10 n_underlying 5 L2_reg 0.001 n_features 5 dropout_rate 0.5 use_gpu False batch_size 10 cuda_id 0 filter_hs [2， 3， 4， 5] 表1. 预测模型在python中的参数设置 实验结果如表2所示。mean_cost为训练集损失平均值，validate_cnn_loss、test_cnn_loss为真实值 y p 和预测值 y ^ p 之间的交叉熵平均值，validate_loss、test_loss为加入了先验医学知识损失的目标损失函数，对加入损失一起进行训练，由式(12)可知validate_loss、test_loss均大于未加入先验医学知识的交叉熵损失。由结果可知在第九次迭代时验证集损失validate_loss最小，获得最优结果，训练集损失为0.551314，测试集损失为0.641656，验证集损失为0.533692。Loss1、2两种情况下为验证集与训练集损失之差，由表可知Loss2小于Loss1，则加入先验医学知识的预测模型优于卷积神经网络。 Table 2 The resul epoch mean_cost validate_cnn_loss test_cnn_loss validate_loss test_loss Loss1 Loss2 0 0.685308 0.629910 0.674288 0.633043 0.677421 0.055398 0.052265 1 0.646248 0.601331 0.665307 0.604463 0.668440 0.044917 0.041785 2 0.613947 0.560590 0.654358 0.563723 0.657491 0.053357 0.050224 3 0.657491 0.560678 0.644346 0.563810 0.647478 0.096813 0.093681 4 0.595203 0.560958 0.673584 0.564091 0.676716 0.034245 0.031112 5 0.596476 0.551949 0.629526 0.555081 0.632659 0.044527 0.041395 6 0.590181 0.559197 0.630622 0.562330 0.633755 0.030984 0.027851 7 0.586710 0.553262 0.657255 0.556394 0.660387 0.033448 0.030316 8 0.574634 0.561785 0.604853 0.564917 0.607986 0.012849 0.009717 9 0.551314 0.530559 0.638523 0.533692 0.641656 0.020755 0.017622 表2. 实验结果 使用已有模型与提出的PRIME模型进行实验对比。输入数据为每次就诊出现的所有诊断代码的频率。使用以下用于分类方法的传统基线模型： 1) logistic回归(LR)；2) 支持向量机(SVM)；3) 随机森林(RF)。 使用以下用于深度学习的基线模型： 1) GRU神经网络；2) 长短期记忆网络(LSTM)；3) RETAIN；4) 卷积神经网络(CNN)。对于GRU，LSTM和RETAIN，潜在表征大小设为256。对于CNN，设置过滤器窗口(l)的大小为2到5，其中过滤器映射为s = 100。 使用以下PRIME模型： 1) 使用LSTM为基本预测模型且加入先验医学知识的 PRIME r ，设置 α = β = 0.01 ； 2) 使用CNN作为基本预测模型且加入先验医学知识的 PRIME c ，设置 α = 0.01 ， β = 0.1 ； 3) 使用LSTM为基本预测模型且不加入先验医学知识的 PRIME r − ，设置 α = β = 0.01 ； 4) 使用CNN作为基本预测模型且不加入先验医学知识的 PRIME c − ，设置 α = 0.01 ， β = 0.1 。 与已有模型对比结果如表3所示。在心力衰竭数据集上，传统的LR、RF和SVM方法的整体性能都比基于深度学习的方法差。这说明采用深度学习技术对高维稀疏的EHR数据进行建模对于风险预测任务是有效的。在四个基于深度学习的基线中，GRU和LSTM的表现优于RETAIN和CNN。由于RETAIN采用了注意机制，因此培训RETAIN需要大量的EHR数据。心力衰竭数据集的大小相对较小，因此RETAIN的性能较GRU和LSTM差。CNN的优势在于捕捉当地时间的重要特征。然而，心力衰竭是一种慢性疾病，需要捕捉疾病演化的长期特征。基于RNN的模型可以正确识别心衰数据集上的这些特征，这使得与CNN相比性能更好。对于提出的四种方法， PRIME r 取得了最好的性能。我们可以看到，和的性能都优于基本的预测模型LSTM。同样，所有这些措施的值 PRIME c 和 PRIME c − 高于在CNN中的值。这些观察结果有力地证实了先验医学知识可以帮助预测模型提高性能。 在COPD数据集中，RETAIN的性能优于GRU和LSTM，说明在所有基线中，注意力机制开始发挥作用，CNN的性能最好。即使对拟议中的 PRIME c 和 PRIME c − ，所有的测量值都小于CNN。原因在于，与某些疾病不同，COPD有明确的病因，这与吸烟直接相关。CNN具有出色的能力来捕捉这些局部的重要特征，即的诊断代码，有关吸烟在访问。因此，与其他方法相比，它取得了更好的性能。然而，在使用后验正则化整合先验医学知识后，即与CNN相比， PRIME c 提出的方法有了显著的改进。这再次证实了考虑先前的医学知识对风险预测任务是有效的。 由于肾脏疾病患者的特点非常明确，传统的分类方法RF可以达到与深度学习相似的性能。即使在简单的数据集上，结合先前的医学知识仍然可以提高预测性能。在肾脏疾病数据集上，我们也观察到基本模型LSTM的性能与所提出的 PRIME r 的性能相当。这是因为我们不调整最佳超参数 α 和 β 。这两个参数对数据集非常敏感。尽管如此，在肾病数据集上，提议的 PRIME c 优于其他方法。 Table 3 The results compared with the existing model Model Heart Failure COPD Kidney Disease AUROC F1Score Accuracy AUROC F1Score Accuracy AUROC F1Score Accuracy Traditional Classification LR 0.8810 0.8383 0.9048 0.8940 0.8559 0.9206 0.9147 0.8922 0.9335 RF 0.8755 0.8444 0.9173 0.8801 0.8478 0.9202 0.9235 0.9145 0.9491 SVM 0.8424 0.7734 0.8590 0.8400 0.7711 0.8715 0.8940 0.8545 0.9067 Deep Learning GRU 0.9047 0.8854 0.9357 0.9014 0.8772 0.9349 0.9263 0.9146 0.9485 RETAIN 0.8913 0.8661 0.9251 0.9110 0.8925 0.9431 0.9225 0.9133 0.9485 LSTM 0.9034 0.8827 0.9339 0.9041 0.8812 0.9370 0.9267 0.9164 0.9498 CNN 0.8994 0.8712 0.9260 0.9181 0.8968 0.9444 0.9284 0.9161 0.9491 This Work PRIME c 0.9059 0.8881 0.9374 0.9084 0.8859 0.9399 0.9258 0.9107 0.9455 PRIME c − 0.8944 0.8709 0.9278 0.9204 0.9005 0.9464 0.9331 0.9201 0.9511 PRIME r 0.9126 0.8955 0.9410 0.9052 0.8868 0.9403 0.9276 0.9118 0.9459 PRIME r − 0.9070 0.8788 0.9295 0.9211 0.9014 0.9468 0.9362 0.9236 0.9530 表3. 与已有模型对比结果