4.大数据有哪些数据类型? 有结构化数据、非结构化数据和半结构化数据。5.大数据有哪些应用? 大数据可以在众多领域创造巨大的衍生价值:实现数据的资源化,帮助企业抢占市场,提供个性化服务,指定有效方针等;与云计算深度结合;可能会改变 数据世界里的很多算法和基础理论,实现科学技术上的突破 云计算是一种动态扩展的计算模式,通过网络将虚拟化的资源作为服务提供给用户。 云计算是一种无处不在的、便捷的通过互联网访问的一个可定制的 资源包括网络、服务器、存储、应用软件和服务)共享池,是一种按使用量付费的模式。它能够通过最少量的管理或与服务供应商的互动实现计算资源 的迅速供给和释放 2.云计算有什么特点? 具有大规模并行计算能力资源虚拟化和弹性调度 数据量巨大并且增速迅猛产生了典型的大数据处理技术 3.请简述云计算的三种主要部署模式。 公有云:提供面向社会大众、公共群体的云计算服务私有云:提供面向应用行业/组织内的云计算服务 混合云:是把公有云和私有云进行整合,吸纳二者的优点,给企业带来真 正意义上的云计算服务 4.请简述云计算的三种主要服务模式。 1.基础设施即服务(IaaS)主要用户是系统管理员 直接利用云提供的资源进行业务的部署或简单的开发 服务提供商提供给用户的服务是计算和存储基础设施 用户不管理或控制任何云计算基础设施,但能控制操作系统的选择 关键技术及解决方案是虚拟化技术 2.平台即服务(PaaS) 主要用户是开发人员 把应用服务的运行和开发环境作为一种服务提供的商业模式即 PaaS 二次开发的平台以服务形式提供给开发软件的用户使用开发人员不需要管理或控制底层的云计算基础设施,但可以方便地使用很 多在构建应用时的必要服务 两个关键技术:分布式的并行计算和大文件分布式存储 3.软件即服务(SaaS) 主要用户是普通用户 服务提供商提供给用户的服务是运行在云计算基础设施上的应用程序,用 户只需要通过终端设备接入使用即可,简单方便,不需要用户进行软件开发,也 无需管理底层资源 关键技术是多租户技术,使资源能够更好的共享 5.请画出云计算基础设施 Google 平台的基础架构图。 6.请画出云计算基础设施Hadoop 平台的基础架构图。 物联网:物联网就是物物相连的互联网边缘计算:边缘计算是指在靠近物或数据源头的一侧,采用网络、计算、存储、应用核心能力为一体的开放平台,就近提供最近端服务 雾计算:数据、(数据)处理和应用程序集中在网络边缘的设备中,而不是 几乎全部保存在云中,是云计算(Cloud Computing)的延伸概念 大数据的处理流程分为以下几步获取源数据;进行数据清洗;数据分析;数据解释;将数据分析与解释的结果呈现给用户。 2.简述 Flume 的数据处理流程。 分为以下几步web server(或其他)输入数据 数据进入Source(输入接口) 信息以队列的形式进入Channal 管道(存储渠道或者存储通道) Sink 会将Channel 中的数据发送到指定的地方——外部存储 只有在Sink 将Channel 中的数据成功发送出去之后,Channel 才会将临时数据 进行删除。 3.大数据预处理过程是什么? 主要过程包括:数据的分类和预处理。数据清洗。数据的集成。数据归约。数据变换。数据的离散化处理。 4.数据归约有哪几种方法?并选择一个方法解释。 常见的数据归约的方法有数据立方体聚集、维归约、数据压缩、数值归约、数据离散化与概念分层。 随意选择一种解释即可,例如:数据立方体聚集主要是用于构造数据立方体, 数据立方体存储多维聚集信息。每个单元存放一个聚集值,对应于多维空间的一 个数据点,每个属性可能存在概念分层,允许在多个抽象层进行数据分析。 5,10,11,13,15,35,50,55,72,92,204,215。使用如下方法将他们划分为三个箱。(1)等深划分。(2)等宽划分。 等深划分:5,10,11,1315,35,50,55 72,92,204,215 (深度为4) 等宽划分:5,10,11,13,15,35,50,55,72 92 204,215(宽度为70) 6.折线图对比散点图的优点有哪些? 散点图在处理数量小的数据时数据比较混乱。而折线图可以使用较少的数据显示随单位(如:单位时间)而变化的连续数据。 7.分析下列情况我们使用什么图形分析 (1)学历与收入的分布情况 (2)某地气温与地理区域的关系 (3)分析一个商品各项属性的特点 散点图或气泡图热力图雷达图 20世纪 70 年代,第一台并行计算机于 1972 年问世。1976 年向量机Cray-1 投入运行。20 世纪80 年代以多指令多数据流(Multiple Instruction stream Multiple Data stream,MIMD)并行计算机为主。20 世纪90 年代,并行计算体系结构框 架趋于统一,以分布式共享存储(Distributed Shared Memory,DSM)、大规模并 行处理结构(Massively Parallel Processing,MPP)、工作站集群(Cluster Workstations,COW)为代表。2000年至今,并行计算机由以COW为原型的大 规模商用普通PC 机构成的集群为主。 2.请简述集群的定义和目的。 定义:集群是一组相互独立的计算机(Node)的集合体,节点间通过高速的网络连接,各节点除了作为一个单一的计算资源供用户使用外,还可以协同工作, 并表示为一个单一的、集中的计算资源,供并行计算任务使用。 目的:集群可用于提高大数据存储系统的可用性和可缩放性。 3.请简述集群的分类以及他们的特点。 高性能集群:高性能集群系统主要是追求整个集群系统强大的计算能力,是并行计算的基础。其目的是完成复杂的计算任务,在科学计算中常用的集群系 统就是高性能集群系统,目前物理、生物、化学等领域有大量的高性能集群系统 提供服务。 负载均衡集群:负载均衡集群系统中所有节点都参与工作,系统通过管理 节点(利用轮询算法、最小负载优先算法等调度算法)或利用类似一致性哈希等 负载均衡算法实现整个集群系统内负载的均衡分配。负载均衡集群为企业需求提 供了更实用的系统。 高可用集群:高可用集群系统通常通过备份节点的使用来实现整个集群系 统的高可用性,活动节点失效后备份节点自动接替失效节点的工作。 虚拟化集群:虚拟化集群是将一台服务器利用虚拟化技术分割为多台独立 的虚拟机使用,并通过管理软件实现虚拟资源的分配和管理。 4.请简述分布式文件系统的概念。 指每台计算机各自提供自己的存储空间,并各自协调管理所有计算机节点中的文件。即是指同一个文件系统下的文件不是被放在单一节点内,而是被分开存 放在多个节点之内,这就是所谓的“分布式”的意义。 5.主/主(Active/Active)集群模型和主/从(Active/Passive)集群模型有什么区 主/主(Active/Active)集群模型每个节点都通过网络对客户机提供资源;每个节点的容量被定义好,使得性能达到最优;每个节点都可以在故障转移时临时 接管另一个节点的工作;所有的服务在故障转移后仍保持可用,但是性能通常都 会下降。 主/从(Active/Passive)结构模型也是两个服务器节点,但是绝大多数时间是Active 服务器(或者说Primary Node)进行服务,当Primary 服务器出问题,就使用另 一个 Passive 服务器作为备用。当主节点出现故障时,备用节点会接管主节点的 工作,继续为客户机提供服务,并且不会有任何性能上影响。 6.集群文件系统有什么特点? 运行在多台计算机之上,之间通过某种方式相互通信从而将集群内所有存储空间资源整合、虚拟化并对外提供文件访问服务 存储数据时按一定的策略分布式地放置于不同物理节点的存储设备上 将系统中每个节点上的存储空间进行虚拟的整合,形成一个虚拟的全局逻 辑目录 在进行文件存取时依据逻辑目录