system: [SYSTEM]

user: 4. 大数据研究的热点及其发展趋势分析 关键词代表论文的研究主题，通过提取论文的关键词，构建关键词共现网络，可以揭示该领域的研究热点。本文结合词频分析法和共词分析法，并使用文献可视化分析软件CiteSpaceIII、BibExcel和VOSViewer，分别对国内、国外大数据文献的研究热点及其发展趋势进行可视化分析。 Table 3 Top 15 authors publishing big data research paper 排名 篇数 作者 排名 篇数 作者 1 10 Jinjun， Chen 1 9 孟小峰 2 10 Ranjan， R. 2 7 于戈 3 10 Xuyun， Zhang 3 7 王士同 4 9 Yong， Chen 4 6 李龙澍 5 9 Carey， Michael J. 5 6 王珊 6 8 Lomotey， R. K. 6 6 葛浩 7 8 Markl， Volker 7 6 杨传健 8 8 Wanchun， Dou 8 6 李岩 9 8 Deters， R. 9 5 王伟 10 8 Chang， Liu 10 5 乐嘉锦 11 7 Borkar， Vinayak 11 4 程学旗 12 7 Xhafa， F. 12 4 高宏 13 7 Cuzzocrea， Alfredo 13 4 杨涛 14 7 Li， Chen 14 4 李建中 15 6 Yang， Li 15 4 史忠植 表3. 国内外大数据研究论文发表数量排名前15的作者情况 图2. 国内高产作者合作关系图(由于数据量大，为了使可视化图片显示完整，因此字体显示较小，无法提供更清晰的图片) 图3. 国外高产作者合作关系图 4.1. 国内大数据研究的热点 将从CNKI获得的1041篇文献数据导入CiteSpaceIII；时间跨度选择2000~2015年，单个时间片长度取1年；节点选择为“关键词”，并选取频次高于6的关键词；将时间片阀值设置为30。由CiteSpaceIII软件形成“关键词”关系图，显示出当前大数据研究的热门词汇，也就是热门研究主题，如图4所示。图中共有388个网络节点、250条连接线，网络密度为0.0033。其中每个圆形节点代表一个关键词，节点的大小代表该关键词在研究领域内出现的频率，节点的颜色年轮代表该关键词出现的年份，即持续的时间。 通过对论文的关键词进行统计，可得关键词一共2627个，根据关键词出现频次的高低，本文选取排名前30的关键词进行统计分析，如表4所示。 统计结果显示，我国在大数据研究领域主要涉及的热点有数据挖掘、MapReduce、云计算、Hadoop、聚类等。从这30个关键词可以看出，目前在大数据领域的研究，主要还是归结在大数据的获取和存储，大数据的交流(使用)，大数据的管理和内容的处理，大数据的分析，以及大数据的可视化 [ 14 ] 等研究方向。云计算成为大数据存储和计算的主要支撑技术，与大数据的研究密切相关。现有的Hadoop、MapReduce平台因其分布式并行计算能力，成为大数据研究的主要途径和工具 [ 15 ] 。此外，数据挖掘在关键词网络中也占据重要的地位，是数据分析的重要方法，涉及关联规则、聚类、分类、支持向量机、机器学习等。 4.2. 国内大数据研究的发展趋势 将关键词共现网络视图按时区方式(time-zone)显示，得到关键词的时区视图，可以显示国内大数据图5国内大数据研究趋势变化图的发展与演化趋势，如图5所示。 由图5可以看出，数据挖掘早在2001年就有相关文献的研究，如今成为大数据分析领域中的主要技术之一。此后陆续出现相关的技术与方法，如“聚类”、“粗糙集”、“支持向量机”、“机器学习”、“关联规则”等。从图还可以看出，数据挖掘与今后各年的研究都存在连接情况，表明数据挖掘不仅是当时的研究热点，还将是未来的的主流研究方向之一。 云计算、Hadoop、MapReduce 等关键词在2007年以后出现，并从2011年开始显著增加。从关键词共现的角度来看，大数据与云计算的关系十分密切，研究者注重大数据与云计算的结合。而大数据这个关键词是从2012年开始大量出现，成为计算领域的研究热点。 此外，通过CiteSpace软件查找2000~2015年期间国内大数据研究领域出现的突变词，这些突变词能够较准确地反映“大数据”研究领域中的研究趋势。结果显示，2010年以前国内大数据出现的突变词有“支持向量机”、“聚类”、“大数据量”、“属性约简”等。2010年以后对于大数据的研究兴趣不断增加，此阶段出现的突变词分别是大数据、MapReduce、云计算、Hadoop、云存储等。这表明国内研究者更加关注算法和技术方面的研究。除此之外，大数据的突变率高达36.97，这一方面表明研究的延续性不够，另一方面表明新的研究正在不断兴起。 4.3. 国外大数据研究的热点 使用BibExcel软件对3773篇外文文献的关键词进行共词分析，取词频排名前75的关键词(词频数大于或等于44)，应用可视化工具VOSViewer，绘制热点主题知识图谱，并用颜色区分热度，如图6所示。红色代表关键词出现的频次很高，黄色代表频次较高，绿色代表平均水平，蓝色代表平均水平以下。 对国外研究论文的关键词进行统计，共17，882个，抽取关键词词频排名前30的关键词，如表5所示。结合图6和表5分析可知，在国外大数据研究中，呈现出的研究热点主要有数据分析(Data Analysis)，数据挖掘(Data Mining)，云计算(Cloud Computing)，数据处理(Data Handling)，数据模型(Data Models)， Table 4 Domestic paper keywords frequency top 3 排名 词频 关键词 排名 词频 关键词 1 123 大数据 16 10 分布式 2 47 数据挖掘 17 9 无线传感器网络 3 34 MapReduce 18 9 负载均衡 4 30 云计算 19 9 遗传算法 5 29 Hadoop 20 9 大数据集 6 25 聚类 21 9 数据采集 7 22 粗糙集 22 9 数据分析 8 16 支持向量机 23 9 分类 9 16 属性约简 24 8 模糊聚类 10 14 并行算法 25 8 入侵检测 11 12 机器学习 26 8 数据库 12 11 并行计算 27 7 聚类分析 13 11 关联规则 28 7 云存储 14 10 可视化 29 7 物联网 15 10 大数据量 30 7 MapReduce模型 表4. 国内论文关键词词频排名前30 Table 5 Hot spot analysis of foreign research pape 词频 关键词 词频 关键词 1373 Big data 128 Algorithm design and analysis 383 data analysis 122 learning (artificial intelligence) 343 data mining 116 Data visualization 311 cloud computing 114 Servers 272 data handling 112 pattern clustering 226 Data models 103 Clustering algorithms 210 Information management 100 Big Data Analytics 184 MapReduce 96 Computer architecture 173 Data storage systems 91 machine learning 147 Hadoop 89 Real-time systems 141 parallel processing 89 data visualisation 139 Computational modeling 88 query processing 139 Internet 85 storage management 138 Databases 79 Security 136 Distributed databases 76 social networking (online) 表5. 国外论文关键词词频排名前30 图4. 国内关键词共现关系图 图5. 国内大数据研究趋势变化图 图6. 国外文献关键词热点分析 以及信息管理(Information Management)等；其次是并行处理(Parallel Processing)，分布式处理(Distributed Processing)，学习、人工智能(Learning、Artificial Intelligence)，模式分类(Pattern Classification)，模式聚类(Pattern Clustering)，数据隐私(Data Privacy)，安全(Security)等。 对国外大数据领域研究论文中词频排名前75的关键词(词频数大于或等于44)进行共词分析，如图7所示。 从图7可以看到，关键词之间的亲疏关系和明显的聚类现象。关系紧密的关键词表示这些主题的关联性，是该领域相互关联的技术，可以协作解决一个问题。采用VOSViewer工具，根据关键词共现的亲疏关系，将所有的关键词聚类，分别使用红色、蓝色、绿色、黄色、紫色标识五大类关键词，得到大数据研究领域比较热门的五个主要的研究方向，如表6所示。 4.4. 国外大数据研究的发展趋势 为了对国外大数据领域研究的发展趋势进行分析，将全部3773篇国外文献按照年份区间分组：2000~2005年的62篇文献为组1；2006~2009年的78篇文献为组2；2010~2011年的85篇文献为组3；2012~2013年的975篇文献为组4；2014年~2015年的2573篇文献为组5。 使用文献计量分析工具BibExcel，对五个分组的文献的关键词分别进行处理，使用可视化工具VOSViewer生成相应的热点分析图，将这五个热点分析图中的重要关键词提取和绘制成图8，展示了大数据领域研究的进展和趋势。 从图8中可以看到，“数据挖掘(Data Mining)”一词在2000年至今的十几年中一直保持着很高的热度，这说明了人们对于挖掘数据中的有价值的信息一直在进行持续的探索与研究。在2000年至今的十几年中一直保持着较高的热度的词还有“数据分析(Data Analysis)”和“人工智能(Artificial Intelligence)”等，显然它们是与大数据研究密切相关的研究领域。在2000年至2005年期间，国外文献还对“数据库(Database)”、“划分算法(Partitioning Algorithms)”、“Clustering Algorithms(聚类算法) [ 16 ] ”的关注度较高，这也反映了大数据的研究一开始是始于数据库研究的事实。同时也看到“数据可视化(Data Visualization)”技术在大数据研究的早期就成为研究的热点，显示数据可视化的重要性和必要性。 在2006年至2009年期间，研究者们对数据“聚类(Clustering) [ 17 ] ”和“分类(Classification)”关注很多，这是大数据研究的重要课题。与此同时，云计算技术悄然兴起，“分布式计算(Distributed Computing)”也在逐步地引入大数据研究中，成为主要的大数据计算解决方案 [ 18 ] 。 在2010年至2011年期间，“云计算(Cloud Computing)”一跃成为第二热的关键词，并在2010年至2015年期间保持高热，说明了云计算技术对大数据研究的影响力。“数据模型(Data Model)”一词在2010年至2015年期间保持着高热或次热的热度，说明了数据建模是大数据信息处理的重要方法，应是未来的一个研究热点。与此同时，“MapReduce”一词首次出现在次热词列表中，而“聚类(Clustering)”和“分类(Classification)”相关技术在2012年之后关注度下降，回复到平均水平。 从年份变化图1知道，2012~2013年国外大数据领域研究增长迅速，期间“数据处理(Data Handling)”成为大数据研究领域最火热的关注点；“信息管理(Information Management)”和“数据存储系统(Data Storage System)”也由于数据的爆发式增长得到密切关注。与此同时，边缘词中出现了“隐私(Privacy)”和“安全(Security)”等词 [ 19 ] ，说明随着计算机技术的发展和时代的进步，数据的安全性和保护数据隐私成为人们关注的问题。 大规模数据集的并行运算 [ 20 ] 能有效地提高大数据处理速度，因此在2010年以后，“MapReduce”、“Hadoop” [ 21 ] [ 22 ] 迅速成为大数据处理的主要解决方案。 图1显示大数据领域研究在2014、2015年得到迅猛发展，“数据分析”、“云计算”、“数据挖掘”、 Table 6 Foreign keywords clusterin 分类 关键词 研究方向 红色类 Data mining， pattern clustering， large data sets， partitioning algorithms， feature extraction… 数据挖掘相关的技术和算法 绿色类 Cloud computing， Hadoop， MapReduce， parellel processing， distributed processing… 云计算、分布式计算相关技术和平台 蓝色类 Data analysis， Internet， social networking， internet of thing， security， data privacy… 大数据分析相关的网络和技术 黄色类 Data model， Computational modeling， data visualization， decision making… 数据建模与可视化相关的方法和技术 紫色类 Data handling， data storage systems， information management… 数据存储和管理、处理相关的方法和技术 表6. 国外论文关键词聚类情况 图7. 国外文献关键词共词分析 图8. 国外文献大数据研究热点变化 “数据模型”、“MapReduce”、“Hadoop”等继续成为大数据研究的热点，“并行处理” [ 23 ] 的热度得到提升，“数据隐私”“数据安全”越来越得到人们的关注，并且数据的安全和隐私问题永远不会过时，将是未来的研究热点之一。 从对国外大数据的领域研究的分析可以看出，研究具有一定的延续性，而且在一开始就聚焦大数据研究的主要问题，研究数据挖掘、数据分析、数据建模、云计算、数据可视化等关键技术，研究线路比较明确。