system: [SYSTEM]

user: 4. 实验 4.1. 实验内容和数据集 本文设置三组实验以验证模型的有效性，并与主流连续兴趣点推荐模型进行比较。具体包括：SLSTM模型与主流连续兴趣点推荐模型的推荐性能进行比较；显性社交因子对连续兴趣点推荐结果的影响；序列长度对推荐结果的影响。 本文使用公开数据集Gowalla和BrightKite来评估本文推荐算法的性能。首先对原始数据进行预处理，删除访问少于20个兴趣点的用户，删除访问少于20次的兴趣点 [ 24 ]。此外，为了确保序列长度，要求每个用户的签到次数不低于20，本文实验数据集的统计情况如表2所示。在本文实验中，遵循前人的研究 [ 10 ]，分别选取每个用户历史签到序列的70%，20%，10%作为实验的训练集、测试集和验证集。 Table 2 Dataset statistic 数据集 Gowalla BrightKite 签到数量 569，651 1，939，499 用户数量 1，947 1，649 兴趣点数量 25，322 14，259 社会关系数量 10，274 17，808 表2. 数据集统计 4.2. 评价指标 由于要预测用户下一个要访问的兴趣点，所以本文采用连续兴趣点推荐算法中最常见的评价指标召回率 Recall @ k [ 9 ] [ 25 ] 来衡量连续兴趣点推荐任务中相关算法的性能。 Recall @ k 表示预测出Topk个用户可能访问的兴趣点，其中预测对的兴趣点数占所有要预测的兴趣点数的比例，k表示推荐列表的长度。具体定义如式(15)所示： Recall @ k = | V k ∩ V u t e s t | | V u t e s t | (15) 其中， V k 表示给用户推荐的k个兴趣点的集合， V u t e s t 表示用户在测试集中访问的下一个兴趣点的集合。 Recall @ k 计算了推荐列表中准确推荐在用户测试集的所有兴趣点的占比，该比例越大，表明推荐算法的推荐结果越精确。 4.3. 对比算法介绍 为了证明本文所提出模型的有效性，本文与以下几个主流连续兴趣点推荐方法进行比较。 1) FPMC：个性化马尔科夫链模型 [ 26 ]，应用矩阵分解方法将个性化的马尔科夫链映射到高维空间，对用户的签到行为进行建模。 2) BPR：贝叶斯个性化排序 [ 27 ]，利用用户对兴趣点喜好的排序关系，并不断优化这种排序关系来学习用户以及兴趣点的隐向量，从而实现个性化推荐。 3) ST-RNN：时空循环神经网络 [ 8 ]，同时考虑时间和空间因素，挖掘用户的兴趣偏好。 4) SERM：融合上下文信息的循环神经网络 [ 28 ]，同时考虑地理、时空、用户特征，利用循环神经网络挖掘用户签到的序列信息。 4.4. 参数设置 为了进行公平的比较，在本文实验中，参考相关文献设定每种方法的优化参数，从而保证每种方法都可以实现最佳性能。对于本文模型SLSTM，设置批量为256，优化器选择Adam，学习率设定为0.001。对于本文中的非负矩阵分解模型，Gowalla数据集和BrightKite显性社交关系的影响因子 η 均设置为1；包含用户社交信息的潜在向量维度d设置为60；签到序列的长度设置为10。 4.5. 实验结果 1) 性能对比 由于兴趣点的海量性以及用户签到数据的稀疏性，基于位置社交网络的连续兴趣点推荐准确率普遍偏低，所以在本文实验中，实验评价指标召回率的数据是普遍偏低的。随着推荐的兴趣点个数的增加，召回率会不断上升 [ 29 ]。由于在实际应用中，用户往往更关注推荐列表中排名比较靠前的兴趣点，所以我们遵循前人的研究做法 [ 30 ]，只展现推荐兴趣点个数k = 2，5，10和20的比较结果。由表3所示，无论在Gowalla还是BrightKite数据集中，本文提出的模型SLSTM在推荐效果上优于他对比模型。例如在top-10上，Gowalla数据集上，我们模型与目前先进的SERM模型相比，在召回率上提高17.0%；BrightKite数据集上，我们模型与目前先进的SERM模型相比，在召回率上提高15.2%，说明SLSTM模型在基于位置社交网络的连续兴趣点推荐中的有效性。 Table 3 Performance comparison of methods based on Gowalla and BrightKite dataset Dataset Method recall@2 recall@5 recall@10 recall@20 Gowalla FPMC 0.0585 0.0792 0.1535 0.2565 BPR 0.0798 0.0990 0.1896 0.2765 ST-RNN 0.1324 0.1524 0.2714 0.3526 SERM 0.1973 0.2389 0.3245 0.4158 SLSTM 0.2156 0.2798 0.3796 0.4512 %Improvement 9.3% 17.1% 17.0% 8.5% BrightKite FPMC 0.1145 0.1411 0.1735 0.2723 BPR 0.1165 0.1723 0.2273 0.3598 ST-RNN 0.2267 0.3123 0.3537 0.4523 SERM 0.2587 0.3435 0.4024 0.4845 SLSTM 0.2967 0.3925 0.4636 0.5202 %Improvement 14.7% 14.3% 15.2% 7.4% 表3. 基于Gowalla与BrightKite数据集的各方法性能对比 具体地，由图4所示的比较结果中，我们可以发现以下几点： 1) FPMC在Gowalla和BrightKite两个数据集上性能最差，因为FPMC基于马尔科夫模型只考虑用户邻近访问的兴趣点信息，而忽视用户周期性签到行为。 2) BPR的性能略高于FPMC，但效果表现也不佳，因为BPR仍然依赖于简单的矩阵分解，即分解了用户–兴趣点的访问矩阵学习用户行为偏好，没有利用位置社交网络中用户签到的地理信息；另外，BPR将所有未知因素视为负面反馈，会降低推荐精度。 3) ST-RNN与SERM均利用循环神经网络进行建模，由图4可知，这两种方法的性能均优于FPMC和BPR，体现了循环神经网络在解决序列问题上的优越性。 4) ST-RNN同时考虑了时间和空间因素，利用位置社交网络中用户的地理信息对用户的行为偏好建模，表明了连续兴趣点推荐任务中建模签到行为的地理因素的重要性，而用户的地理空间关系是连续兴趣点推荐任务和传统推荐任务的本质区别。 5) SERM同时考虑了多种外部因素：地理，时间和用户特征，因此性能优于ST-RNN，但二者基于基本的循环神经网络进行连续兴趣点推荐，存在梯度消失问题；SERM模型平等的处理了地理、时间和用户特征对用户行为偏好的影响，并不能有效建模不同特征之间的联系，因此推荐效果不如本文模型。 6) 本文模型SLSTM在所有的参考模型中表现最优，表明了SLSTM在连续兴趣点推荐中的有效性。相比于其他模型，SLSTM在循环神经网络中使用了LSTM单元，解决了梯度消失的问题；并基于非负矩阵分解的特征表示法得包含隐性和显性社交信息的特征表示，并利用SLSTM有效建模了这些特征对最终推荐结果的深层次联合作用，从而取得了令人满意的推荐效果。 图4. Gowalla与BrightKite数据集各模型Recall@k指标对比结果 2) 参数影响 调整模型参数，发现非负矩阵分解模型中显性社交关系的影响因子 η 和推荐模型中签到序列的长度 l 对SLSTM模型的性能是重要的。因此，这一部分本文研究模型参数 η 和 l 的对推荐效果的影响。 由图5可知，本文在Gowalla和BrightKite两个数据集对显性因子 η 进行参数分析， η 的取值为 { 1 ， 2 ， 3 ， 4 ， 5 } 。在两个数据集中，随着 η 越来越大，Recall@10的值越来越来小，因此在两个数据集中本文均选择显性因子 η = 1 进行社交信息建模，这样可以更好的还原用户的显性和隐性社交关系。由此证明隐性社交关系对用户行为偏好影响要大于显性社交关系，很可能是由于用户之间显性社交信息是十分稀疏，大多数社交信息都属于隐性社交信息，同时用户的显性社交信息中可能包含一些噪声，并不能很好的展示出推荐系统的性能。 图5. 显性因子不同时，Recall@10的结果 由图6可知，本文实验探究了签到序列长度l从8到13的变化对推荐性能的影响。Recall@10的值随着签到序列长度l的增加先增加，是因为随着签到序列的增加，模型可以更精准的模拟出用户的长期偏好。当 l = 10 时，推荐精度达到最高，随着继续增加，模型的复杂度随之增加，对于提高模型性能就不明显了。 图6. 签到长度不同时，Recall@10的结果