按文件系统内在的存储策略与物理存储 位置对应,从而实现文件的定位 相比传统的文件系统要复杂 1.简述什么是Hadoop? Hadoo是以Hadoop 分布式文件系统(Hadoop Distributed File System,HDFS) 和MapReduce 为核心,以及一些支持 Hadoop 的其他子项目的通用工具组成的分 布式大数据开发平台。 2.简述 HDFS 存储数据的优点。 HDFS存储数据的优点为: 1、支持超大文件:目前在实际应用中,HDFS 可用于存储管理PB 级的数据。 2、高容错性:HDFS 中数据会自动保存多个副本,提供了容错和恢复机制。 3、流式数据访问:HDFS 中数据集在生成后就会被复制分发到不同的存储节 点,然后响应各种数据分析任务请求。请求读取整个数据集要比读取一条记录更 加高效。 4、简化的一致性模型:HDFS 操作文件时,只需一次写入便可多次读取。这 样简单的一致性模型,有利于提高吞吐量。 5、运行于廉价的机器集群上。 3.Hadoop 生态系统包括哪些组成部分,并简述各部分对应功能。 1、Hive(基于Hadoop 的数据仓库):擅长数据展示,通常用于离线分析。 2、HBase(分布式列存数据库):可对大规模数据进行随机、实时读写访问。 3、ZooKeeper(分布式协作服务):用于构建分布式应用,解决分布式环境 下的数据管理问题。 4、Sqoop(数据同步工具):完成HDFS 和关系型数据库中的数据相互转移 5、Pig(基于 Hadoop 的数据流系统):提供相应的数据流语言和运行环境, 实现数据转换和实验性研究。 6、Mahout(数据挖掘算法库):包含算法、数据的输入/输出工具与其他存 储系统集成等数据挖掘支持架构。 7、Flume(日志收集工具):支持收集数据和对数据进行简单处理的能力。 8、Avro(数据序列化工具):是一种新的数据序列化格式和传输工具,设计 用于支持大批量数据交换的应用。 9、BI Reporting(商业智能报表):它能提供综合报告、数据分析和数据集成 等功能。 10、RDBMS(关系型数据库管理系统):RDBMS 将数据存储在被称为表的 数据库中。 11、ETL Tools 是构建数据仓库的重要环节,由一系列数据仓库采集工具构 12、Ambari可帮助系统管理员部署和配置 Hadoop、升级集群,并可提供监 控服务。 4.根据资源管理器的不同,可将 Spark 运行模式分为哪几种,并简要概述各模式。 1、Standalone独立集群运行模式。2、Yarn-Cluster 模式。3、Yarn-Client 式。4、SparkMesos 模式。 5.简述 RDD 具有的五个特征。 1、Partition(分区)。2、Compute(Compute函数)。3、Dependencies(依赖)。 4、Partitioner(分区函数)。5、PreferedLocations(优先位置)。 6.简述 GraphX 底层设计的关键点。 GraphX采用分布式框架,将对巨型图的各种操作包装成简单的接口,使得 开发者可以更加聚焦在图计算相关的模型设计和使用上,而不用关心底层的分布 式细节,极大地满足了对分布式图处理的需求。 7.简述 Storm的核心组件及其功能。 Topology:实时计算应用程序。Nimbus:负责资源分配和任务调度。 Supervisor:负责接收 Nimbus 分配的任务,启动和停止管理的 Worker Worker:具体的逻辑处理组件。Spout:是在 Topology 中产生数据源的组件。 Bolt:在Topology 中接收Spout 的数据,再执行处理的组件。 8.Hadoop、Spark 按照处理类型的不同可分为:仅批处理框架(Hadoop),仅流处理框架(Storm),混合框架(Spark)。 9.简述 Hadoop、Spark 1、Hadoop的适用场景:海量数据的离线分析处理;大规模Web 信息搜 索;数据密集型并行计算。 Storm的适用场景:流数据处理。分布式 RPC。 3、Spark 的适用场景:多次操作特定数据集的应用场合。粗粒度更新状 态的应用。 10.大数据分析与挖掘技术包括哪些? 数据处理:自然语言处理技术。统计和分析:A/B test;top 排行榜;地域占比;文本情感分析。数据挖掘:关联规则分析;聚类;分类。 模型预测:预测模型;机器学习;建模仿真。 1.请讲述Hive HBase的区别与联系。 Hive是一个建立在 Hadoop 上的数据仓库。HBase 是一种 Key/Value Nosql数据库,两者底层都是 HDFS。Hbase Hive不一样,Hbase 能够在它的 数据库上实时运行,而Hive 底层是执行MapReduce 任务。 Hive 是利用 HQL 语句来查询,不支持更新操作,亦不支持事务操作,适合 OLAP,不支持实时的查询。 HBase 是存储的 key/value 值。支持增加或者更新行,可查看一个范围内的 cell,获取指定的行,删除指定的行、列和列的版本。版本信息用来获取历史数 据。Hbase 非常适合用来进行大数据的实时查询。 2.简述 Hive 产生背景。 MapReduce编程的不便性 HDFS 上的文件缺少Schema(字段名,字段类型等) 3.简述 Hive 的服务结构组成及其对应的功能。 Hive组成部分分为Hive 客户端和Hive 服务端。客户端提供了Thrift、JDBC、 ODBC 应用程序驱动工具,可以方便地编写使用Thrift、JDBC 和ODBC 驱动的 Python、Java 或C++程序,使用 Hive 对存储在 Hadoop 上的海量数据进行分析; 服务端提供了Hive Shell 命令行接口、Hive Web 接口和为不同应用程序(包括上 层Thrift 应用程序、JDBC 应用程序以及ODBC 应用程序)提供多种服务的Hive Server,实现上述Hive 服务操作与存储在 Hadoop 上的数据之间的交互。 4.MySQL 数据库针对 Hive 的用途是什么? Hive集成Mysql 作为元数据。 默认情况下,Hive 元数据保存在内嵌的 Derby 数据库中,只能允许一个会 话连接,只适合简单的测试。为了支持多用户多会话,则需要一个独立的元数据 库,我们使用 MySQL 作为元数据库,Hive 内部对 MySQL 提供了很好的支持。 5.简述什么是云计算? 云计算(cloudcomputing)是分布式计算的一种,指的是通过网络“云”将 巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系 统进行处理和分析这些小程序得到结果并返回给用户。 6.云计算有什么特点? 虚拟化技术、动态可扩展、按需部署、灵活性高、可靠性高、性价比高、可扩展性。 7.描述云存储系统的结构模型。 存储层是云存储最基础的部分。基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。 应用接口层是云存储最灵活多变的部分。 访问层任何一个授权用户都可以通过标准的公用应用接口来登录云存储系 统,享受云存储服务。 8.简述云存储的实现前提。 宽带网络的发展WEB2.0 技术 应用存储的发展 集群技术、网格技术和分布式文件系统 CDN 内容分发、P2P 技术、数据压缩技术 存储虚拟化技术、存储网络化管理技术 9.云存储服务系统的应用有哪些分类,并列举一些应用,并对其进行简述。 分为个人级存储应用和企业级存储应用。个人级云存储应用中有网盘、文档在线编译、网络游戏等。其中基于云存储 管理和运营网络游戏,可以大幅提升游戏性能,并有效降低游戏开发商的运营成 企业级云存储应用中有云存储空间租赁服务、企业级远程数据备份及容灾、视频监控系统等。其中对于很多企业,数据的备份是一件极其重要的事情。