第 第 1 1 章 1. 简述什么是大数据? 答: 大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 2. 大数据的数据有什么特点? 答: 数据量大(Volume)、数据类型复杂(Variety)、数据产生速度快(Velocity)、价值密度低(Value)。 3. 大数据对科学研究有什么影响? 答: 促进了科学研究的第四范式产生和交叉学科的发展。 4. 大数据有哪些数据类型? 答: 有结构化数据、非结构化数据和半结构化数据。 5. 大数据有哪些应用? 答: 大数据可以在众多领域创造巨大的衍生价值:实现数据的资源化,帮助企业抢占市场,提供个性化服务,指定有效方针等;与云计算深度结合;可能会改变数据世界里的很多算法和基础理论,实现科学技术上的突破 第 第 2 2 章 1. 简述什么是云计算? 答: ①云计算是一种动态扩展的计算模式,通过网络将虚拟化的资源作为服务提供给用户。 ②云计算是一种无处不在的、便捷的通过互联网访问的一个可定制的 IT 资源(IT 资源包括网络、服务器、存储、应用软件和服务)共享池,是一种按使用量付费的模式。它能够通过最少量的管理或与服务供应商的互动实现计算资源的迅速供给和释放 2. 云计算有什么特点? 答: ①具有大规模并行计算能力 ②资源虚拟化和弹性调度 ③数据量巨大并且增速迅猛产生了典型的大数据处理技术 3. 请简述云计算的三种主要部署模式。 答: ①公有云:提供面向社会大众、公共群体的云计算服务 ②私有云:提供面向应用行业/组织内的云计算服务 ③混合云:是把公有云和私有云进行整合,吸纳二者的优点,给企业带来真正意义上的云计算服务 4. 请简述云计算的三种主要服务模式。 答: 1.基础设施即服务(IaaS) ①主要用户是系统管理员 ②直接利用云提供的资源进行业务的部署或简单的开发 ③服务提供商提供给用户的服务是计算和存储基础设施 ④用户不管理或控制任何云计算基础设施,但能控制操作系统的选择 ⑤关键技术及解决方案是虚拟化技术 2.平台即服务(PaaS) ①主要用户是开发人员 ②把应用服务的运行和开发环境作为一种服务提供的商业模式即 PaaS 是把二次开发的平台以服务形式提供给开发软件的用户使用 ③开发人员不需要管理或控制底层的云计算基础设施,但可以方便地使用很 多在构建应用时的必要服务 ④两个关键技术:分布式的并行计算和大文件分布式存储 3.软件即服务(SaaS) ①主要用户是普通用户 ②服务提供商提供给用户的服务是运行在云计算基础设施上的应用程序,用户只需要通过终端设备接入使用即可,简单方便,不需要用户进行软件开发,也无需管理底层资源 ③关键技术是多租户技术,使资源能够更好的共享 5. 请画出云计算基础设施 Google 平台的基础架构图。 答: 6. 请画出云计算基础设施 Hadoop 平台的基础架构图。 答: 7. 用自己的语言分别解释物联网,边缘计算,雾计算。 答: 物联网:物联网就是物物相连的互联网 边缘计算:边缘计算是指在靠近物或数据源头的一侧,采用网络、计算、存储、应用核心能力为一体的开放平台,就近提供最近端服务 雾计算:数据、(数据)处理和应用程序集中在网络边缘的设备中,而不是几乎全部保存在云中,是云计算(Cloud Computing)的延伸概念 第 第 3 3 章 1. 请简述大数据的处理流程? ? 答: 大数据的处理流程分为以下几步①获取源数据;②进行数据清洗;③数据分析;④数据解释;⑤将数据分析与解释的结果呈现给用户。 2. 简述 Flume 的数据处理流程。 答: 分为以下几步 ①web server(或其他)输入数据 ②数据进入 Source(输入接口) ③信息以队列的形式进入 Channal 管道(存储渠道或者存储通道) ④Sink 会将 Channel 中的数据发送到指定的地方——外部存储 ⑤只有在 Sink 将 Channel 中的数据成功发送出去之后,Channel 才会将临时数据进行删除。 3. 大数据预处理过程是什么? 答: 主要过程包括:①数据的分类和预处理。②数据清洗。③数据的集成。④数据归约。⑤数据变换。⑥数据的离散化处理。 4. 数据归约有哪几种方法?并选择一个方法解释。 答: 常见的数据归约的方法有①数据立方体聚集、②维归约、③数据压缩、④数值归约、⑤数据离散化与概念分层。 随意选择一种解释即可,例如:数据立方体聚集主要是用于构造数据立方体,数据立方体存储多维聚集信息。每个单元存放一个聚集值,对应于多维空间的一个数据点,每个属性可能存在概念分层,允许在多个抽象层进行数据分析。 5. 设 假 设 12 个 销 售 价 格 记 录 已 经 排 序 , 如 下 所 示 : 5,10,11,13,15,35, 50,55,72,92,204,215 。使用如下方法将他们划分为三个箱。(1。 )等深划分。( (2 )等宽划分。 答: 等深划分:①5,10,11,13 ②15,35,50,55 ③72,92,204,215 (深度为 4) 等宽划分:①5,10,11,13,15,35,50,55,72 ②92 ③204,215(宽度为 70) 6. 折线图对比散点图的优点有哪些? 答: 散点图在处理数量小的数据时数据比较混乱。而折线图可以使用较少的数据显示随单位(如:单位时间)而变化的连续数据。 7. 分析下列情况我们使用什么图形分析 ( (1 )学历与收入的分布情况 ( (2 )某地气温与地理区域的关系 ( (3 )分析一个商品各项属性的特点 答: ①散点图或气泡图 ②热力图 ③雷达图 第 第 4 4 章 1. 请简述并行计算机的发展。 答: 20 世纪 70 年代,第一台并行计算机于 1972 年问世。1976 年向量机 Cray-1投入运行。20 世纪 80 年代以多指令多数据流(Multiple Instruction stream Multiple Data stream,MIMD)并行计算机为主。20 世纪 90 年代,并行计算体系结构框架趋于统一,以分布式共享存储(Distributed Shared Memory,DSM)、大规模并行处理结构(Massively Parallel Processing,MPP)、工作站集群(Cluster of Workstations,COW)为代表。2000 年至今,并行计算机由以 COW 为原型的大规模商用普通 PC 机构成的集群为主。 2. 请简述集群的定义和目的。 答: 定义:集群是一组相互独立的计算机(Node)的集合体,节点间通过高速的网络连接,各节点除了作为一个单一的计算资源供用户使用外,还可以协同工作,并表示为一个单一的、集中的计算资源,供并行计算任务使用。 目的:集群可用于提高大数据存储系统的可用性和可缩放性。 3. 请简述集群的分类以及他们的特点。 答: ①高性能集群:高性能集群系统主要是追求整个集群系统强大的计算能力,是并行计算的基础。其目的是完成复杂的计算任务,在科学计算中常用的集群系统就是高性能集群系统,目前物理、生物、化学等领域有大量的高性能集群系统提供服务。 ②负载均衡集群:负载均衡集群系统中所有节点都参与工作,系统通过管理节点(利用轮询算法、最小负载优先算法等调度算法)或利用类似一致性哈希等 负载均衡算法实现整个集群系统内负载的均衡分配。负载均衡集群为企业需求提供了更实用的系统。 ③高可用集群:高可用集群系统通常通过备份节点的使用来实现整个集群系统的高可用性,活动节点失效后备份节点自动接替失效节点的工作。 ④虚拟化集群:虚拟化集群是将一台服务器利用虚拟化技术分割为多台独立的虚拟机使用,并通过管理软件实现虚拟资源的分配和管理。 4. 请简述分布式文件系统的概念。 答: 指每台计算机各自提供自己的存储空间,并各自协调管理所有计算机节点中的文件。即是指同一个文件系统下的文件不是被放在单一节点内,而是被分开存放在多个节点之内,这就是所谓的“分布式”的意义。 5. 主/ 主(Active/Active )集群模型和主/ 从(Active/Passive )集群模型有什么区别? 答: 主/主(Active/Active)集群模型每个节点都通过网络对客户机提供资源;每个节点的容量被定义好,使得性能达到最优;每个节点都可以在故障转移时临时接管另一个节点的工作;所有的服务在故障转移后仍保持可用,但是性能通常都会下降。 主/从(Active/Passive)结构模型也是两个服务器节点,但是绝大多数时间是 Active服务器(或者说 Primary Node)进行服务,当 Primary 服务器出问题,就使用另一个 Passive 服务器作为备用。当主节点出现故障时,备用节点会接管主节点的工作,继续为客户机提供服务,并且不会有任何性能上影响。 6. 集群文件系统有什么特点? 答: ①运行在多台计算机之上,之间通过某种方式相互通信从而将集群内所有存储空间资源整合、虚拟化并对外提供文件访问服务 ②存储数据时按一定的策略分布式地放置于不同物理节点的存储设备上 ③将系统中每个节点上的存储空间进行虚拟的整合,形成一个虚拟的全局逻辑目录 ④在进行文件存取时依据逻辑目录按文件系统内在的存储策略与物理存储位置对应,从而实现文件的定位 ⑤相比传统的文件系统要复杂 第 第 5 5 章 1. 简述什么是 Hadoop ? 答: Hadoo 是以 Hadoop 分布式文件系统(Hadoop Distributed File System,HDFS)和 MapReduce 为核心,以及一些支持 Hadoop 的其他子项目的通用工具组成的分布式大数据开发平台。 2. 简述 HDFS 存储数据的优点。 答: HDFS 存储数据的优点为: 1、支持超大文件:目前在实际应用中,HDFS 可用于存储管理 PB 级的数据。 2、高容错性:HDFS 中数据会自动保存多个副本,提供了容错和恢复机制。 3、流式数据访问:HDFS 中数据集在生成后就会被复制分发到不同的存储节点,然后响应各种数据分析任务请求。请求读取整个数据集要比读取一条记录更加高效。 4、简化的一致性模型:HDFS 操作文件时,只需一次写入便可多次读取。 这样简单的一致性模型,有利于提高吞吐量。 5、运行于廉价的机器集群上。 3.Hadoop 生态系统包括哪些组成部分,并简述各部分对应功能。 答: 1、Hive(基于 Hadoop 的数据仓库):擅长数据展示,通常用于离线分析。 2、HBase(分布式列存数据库):可对大规模数据进行随机、实时读写访问。 3、ZooKeeper(分布式协作服务):用于构建分布式应用,解决分布式环境下的数据管理问题。 4、Sqoop(数据同步工具):完成 HDFS 和关系型数据库中的数据相互转移 5、Pig(基于 Hadoop 的数据流系统):提供相应的数据流语言和运行环境,实现数据转换和实验性研究。 6、Mahout(数据挖掘算法库):包含算法、数据的输入/输出工具与其他存储系统集成等数据挖掘支持架构。 7、Flume(日志收集工具):支持收集数据和对数据进行简单处理的能力。 8、Avro(数据序列化工具):是一种新的数据序列化格式和传输工具,设计用于支持大批量数据交换的应用。 9、BI Reporting(商业智能报表):它能提供综合报告、数据分析和数据集成等功能。 10、RDBMS(关系型数据库管理系统):RDBMS 将数据存储在被称为表的数据库中。 11、ETL Tools 是构建数据仓库的重要环节,由一系列数据仓库采集工具构成。 12、Ambari 可帮助系统管理员部署和配置 Hadoop、升级集群,并可提供监控服务。 4. 根据资源管理器的不同,可将 Spark 。 运行模式分为哪几种,并简要概述各模式。 答: 1、Standalone 独立集群运行模式。2、Yarn-Cluster 模式。3、Yarn-Client 模式。4、Spark Mesos 模式。 5. 简述 RDD 具有的五个特征。 答: 1、Partition(分区)。2、Compute(Compute 函数)。3、Dependencies(依赖)。4、Partitioner(分区函数)。