system: [SYSTEM]

user: 3. 二手房的随机森林模型 3.1. 变量的选取 本文主要对北京市二手房价格影响因素进行分析研究并对房价进行预测。收集某二手房中介网站2016年5月底北京城内六区(东城、西城、朝阳、海淀、丰台、石景山) 16，795套在售二手房相关数据。 下面介绍本文各变量的选取： 1) 响应变量 本文选取在售二手房Price (每平米的均价)作为响应变量。 2) 预测变量 美国学者Butler提出了影响房地产价格的三大特征变量 [ 7 ] ：区位特征，建筑特征以及邻里环境。区位特征指的是住宅小区位于城市哪个区域，包含与固定区位属性相关的一些特征。一般选取到城镇中心区的距离量化该特征。建筑特征简而言之即为住宅本身的客观状况，包括：户型、面积、建筑年龄、建筑结构、装修、车库等。邻里环境具体指住宅小区的人文环境、自然环境以及治安管理等。这三种特征变量包含着属性的隐含价格，因为消费者对于属性的支付意愿是从住宅价格间接得到的。 据此我们根据三大特征变量选择出九个变量作为本文的预测变量。区位特征选择：subway (是否地铁沿线)、school (是否为学区房)、long (所在小区所处的经度)、lat (所在小区所处的纬度)、cate (东城、西城、海淀、朝阳、丰台石、景山)。建筑特征选择：bedrooms (卧室数)、halls (厅总数)、area (房屋总面积)、floor (basement， low， middle， high)。由于住宅小区及治安管理缺乏统计标准以及环境变量的数据获取途径有限。邻里环境变量没有出现在本文中。 3.2. 随机森林模型的建立 随机森林模型是Breiman (2001)首次提出，通过建立一系列的决策树组成随机森林模型，最终投票做出最后的预测。该算法具有需要调整的参数较少、不必担心过度拟合、分类速度快、能高效处理大样本数据、能估计特征因素的重要性、很好的处理类别变量、有较强的抗噪声能力等优点。与线性回归相比，避免了线性回归事先假定的线性关系不符合实际造成较大误差的情况。且随机森林不用对函数形式事先进行假设，避免了假设误差。 运用随机森林方法进行二手房价格评估，随机森林可以处理分类和回归问题。本文对于二手房的研究属于回归预测问题。随机森林回归的基本思想是：首先利用自助抽样法，从原始数据集中抽取B个样本，且每个样本容量都与原始数据集相同；然后对B个样本分别建立B棵树，得到B个结果；最后，对这B个结果取平均值得到最终的预测结果。基于随机森林的二手房价格评估模型计算如下： 二手房的随机森林模型由B棵树组成， ，其中 是二手房的P维特征向量。结果会产生B个结果 。其中， 是第b棵树的预测结果。对于回归问题预测值为所有树预测结果的平均。算法流程如下： 1) 原始数据含样本量为16，795，应用bootstrap方式抽样选择500个样本集，构建500棵决策树。每次抽样未被抽到的样本构成OOB样本作为随机森林的验证样本。 2) 样本中变量个数为9，每一棵决策树每一个节点随机选择 个变量进行基尼指标计算，确定合适的变量得到合适的划分。使用随机森林做回归时，通常选取 。本文每一次划分选择3个变量。 3) 每一棵决策树生长到最大，无需进行剪枝，重复上述步骤直到生成500棵决策树。 通过如上步骤，建立得到二手房的随机森林价格评估模型，将OOB样本输入随机森林模型得到房价预测精度。 3.3. 特征变量重要性评价 随机森林可以给出变量重要性排序，本文据此得出影响二手房价格的重要预测变量。其次，本文通过依此删除预测变量的方式计算方差解释性差值，得到变量重要性排序。删除某个变量后解释性差值变化越大，证明这个变量越重要；解释性差值变化越小，证明这个变量越不重要。 记删除变量后方差的解释性为： 方差解释性变化为： 变量分别如表1。 为了提高计算准确性，随机森林运行十次得到方差解释性如表2。 方差平均解释性为：85.12%。 逐个删除自变量，输入随机森林模型，方差解释性如表3。 方差的解释性变化如表4。 由此可得，可以按照重要性将变量分为三个层次：第一层次包括lat、long、cate三个方差的解释性差值最大的变量，这表明大多数人选择二手房时首先考虑房子所在的地理位置(纬度、经度和区域)。选择了房子的地理位置后，第二层次变量包括房子的总面积(area)以及卧室的数目(bedrooms)。第三层次的学区房和是否临近地铁这两个变量方差解释性差值较小，为重要性相对较弱的变量，分析其原因，是否临 Table 1 Explaining variabl x1 Subway x2 school x3 Long x4 lat x5 Cate x6 bedrooms x7 Halls x8 area x9 Floor 表1. 预测变量 Table 2 Variance of explanator 次数 解释性 次数 解释性 1 85.10% 6 84.90% 2 85.22% 7 84.85% 3 85.30% 8 85.26% 4 84.73% 9 85.65% 5 85.37% 10 84.80% 表2. 方差解释性 Table 3 Erase variables of variance explanator w1 82.95% w2 81.92% w3 74.91% w4 71.95% w5 76.16% w6 80.92% w7 81.72% w8 79.97% w9 81.19% 表3. 逐个删除变量方差解释性 Table 4 Changes of variance explanator t1 2.17% t2 3.20% t3 10.21% t4 13.17% t5 8.96% t6 4.20% t7 3.40% t8 5.15% t9 3.93% 表4. 方差解释性变化 近地铁是房子所处地理位置的一部分因素，大多数情况下可以由房子的地理位置确定，因此作为单独变量影响较小；而学区房受众群体比较单一，其重要性只针对有孩子需要上学的家庭，样本较大时这种重要性会被减弱。 随机森林输出的变量重要性如表5。 由表5可得，cate，lat和long同上述方差解释性差值一样，为最重要的三个变量，表明大多数人选择二手房时首先考虑房子所在的地理位置。school，subway和area为接下来重要的变量。这个结果与上述方差解释性得到的结果具有大致相同的趋势。 Table 5 Output of RF variable importanc 变量 节点纯度 CATE 1.77E+12 Bedrooms 9.65E+10 Halls 8.75E+10 AREA 4.30E+11 floor 1.09E+11 Subway 1.09E+11 School 6.59E+11 LONG 8.73E+11 LAT 1.06E+12 表5. RF变量重要性输出 3.4. 二手房房价预测 通过bootstrap抽样，未被抽到的样本组成了B个袋外数据(out-of-bag， OOB)，构成OOB样本。每次bootstrap抽样，将近37%的样本不会被抽中。本文将入袋样本作为测试集，将袋外样本作为验证集。采用下述的方式衡量房价的预测精度： (1) (2) 其中n为16，795套二手房数据的袋外数据量。 为袋外数据的预测价格， 为袋外数据的实际价格。ESS为残差平方和。J为残差平方和取平方根。 随机森林每一次bootstrap抽样，会产生不同的OOB样本，不同的OOB样本计算ESS会得到不同的预测精度，为了保证预测准确性，对十次bootstrap得到的袋外数据计算预测误差并取平均，为了方便与下文其他模型对比，我们取预测误差平均的 ，计算结果如表6。 为了更加直观的看到随机森林的预测效果，我们使用R软件在16795个数据集的OOB样本中随机抽取15个样本，得到其预测价格与实际价格并计算预测误差如表7。我们看到预测误差基本可以控制在10%左右，说明随机森林预测效果良好。