5、PreferedLocations(优先位置)。 6. 简述 GraphX 底层设计的关键点。 答: GraphX 采用分布式框架,将对巨型图的各种操作包装成简单的接口,使得开发者可以更加聚焦在图计算相关的模型设计和使用上,而不用关心底层的分布式细节,极大地满足了对分布式图处理的需求。 7. 简述 Storm 的核心组件及其功能。 答: ①Topology:实时计算应用程序。 ②Nimbus:负责资源分配和任务调度。 ③Supervisor:负责接收 Nimbus 分配的任务,启动和停止管理的 Worker 进 程。 ④Worker:具体的逻辑处理组件。 ⑤Spout:是在 Topology 中产生数据源的组件。 ⑥Bolt:在 Topology 中接收 Spout 的数据,再执行处理的组件。 8.Hadoop 、Spark 与 与 Storm 按处理类型不同依次归类为哪类框架? 答: 按照处理类型的不同可分为:仅批处理框架(Hadoop),仅流处理框架(Storm),混合框架(Spark)。 9. 简述 Hadoop 、Spark 与 与 Storm 的适用场景。 答: 1、Hadoop 的适用场景:①海量数据的离线分析处理;②大规模 Web 信息搜索;③数据密集型并行计算。 Storm 的适用场景:①流数据处理。②分布式 RPC。 3、Spark 的适用场景:①多次操作特定数据集的应用场合。②粗粒度更新状态的应用。 10. 大数据分析与挖掘技术包括哪些? 答: ①数据处理:自然语言处理技术。 ②统计和分析:A/B test;top N 排行榜;地域占比;文本情感分析。 ③数据挖掘:关联规则分析;聚类;分类。 ④模型预测:预测模型;机器学习;建模仿真。 第 第 6 6 章 1. 请讲述 Hive 与 与 HBase 的区别与联系。 答: Hive 是一个建立在 Hadoop 上的数据仓库。HBase 是一种 Key/Value 型的Nosql 数据库,两者底层都是 HDFS。Hbase 和 Hive 不一样,Hbase 能够在它的数据库上实时运行,而 Hive 底层是执行 MapReduce 任务。 Hive 是利用 HQL 语句来查询,不支持更新操作,亦不支持事务操作,适合 OLAP,不支持实时的查询。 HBase 是存储的 key/value 值。支持增加或者更新行,可查看一个范围内的cell,获取指定的行,删除指定的行、列和列的版本。版本信息用来获取历史数据。Hbase 非常适合用来进行大数据的实时查询。 2. 简述 Hive 产生背景。 答: MapReduce 编程的不便性 HDFS 上的文件缺少 Sche...