大数据技术原理与应用

厦门大学提供的慕课课程
大数据技术原理与应用课程是厦门大学于2017年11月6日首次在中国大学MOOC提供的慕课课程、国家精品在线开放课程。该课程授课教师为林子雨。据2020年12月中国大学MOOC官网显示，该课程已开课7次。
大数据技术原理与应用课程系统梳理总结大数据相关技术，介绍大数据技术的基本原理和大数据主要应用。
课程性质
课程背景
21世纪，大数据专业人才的培养是世界各国新一轮科技较量的基础，高等院校承担着大数据人才培养的重任。大数据专业作为典型的"新工科"专业在课程体系建设方面还处于摸索阶段。为了应对该情况，培养大数据专业人才，厦门大学开设了大数据技术原理与应用课程。
课程定位
大数据技术原理与应用课程是入门级大数据课程，是构建大数据知识体系、阐明基本原理、引导初级实践，了解相关应用的一门课程，适合初学者进行学习。大数据专业人才的培养是新一轮科技较量的基础，高等院校承担着大数据人才培养的重任。因此，各高等院校重视大数据课程的开设，大数据课程已经成为信息相关专业的重要核心课程。
开课信息
开课次数	开课时间	学时安排	参与人数
第1次开课	2017年11月06日-2018年02月08日	2-3小时每周	36882
第2次开课	2018年03月12日-2018年06月17日	3小时每周	17019
第3次开课	2018年09月03日-2018年12月17日	3-5小时每周	20830
第4次开课	2019年03月04日-2019年06月09日	3小时每周	21482
第5次开课	2019年09月16日-2019年12月22日	33701
第6次开课	2020年02月17日-2020年05月25日	4小时每周	40516
第7次开课	2020年09月14日-2020年12月28日	待定
课程简介
大数据技术原理与应用课程围绕“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”的指导思想，对大数据知识体系进行系统梳理。该课程共十四讲，主要包括大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop架构再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、大数据在不同领域的应用等内容。
课程大纲
据中国大学MOOC官网显示，该课程第1-6次开课课程大纲有课程介绍、课程及其配套在线资源介绍、配套讲义PPT内容，第7次开课课程大纲调整了该部分内容。
大数据技术原理与应用课程第7次开课课程大纲第1讲 大数据概述	1.1 大数据时代	1.2 大数据概念和影响	1.3 大数据的应用	1.4 大数据的关键技术	1.5 大数据与云计算、物联网	本讲配套讲义PPT-第1讲-大数据概述	第1讲大数据概述章节单元测验	第2讲 大数据处理架构Hadoop	本讲实验答疑-第2讲-大数据处理架构Hadoop	2.1 概述	2.2 Hadoop项目结构	2.3 Hadoop的安装与使用	2.4  Hadoop集群的部署和使用	本讲配套讲义PPT-第2讲-大数据处理架构Hadoop	大数据处理架构Hadoop单元测验	第3讲 分布式文件系统HDFS	3.1 分布式文件系统HDFS简介	3.2 HDFS相关概念	3.3 HDFS体系结构	3.4 HDFS存储原理	3.5 HDFS数据读写过程	3.6 HDFS编程实践	本讲配套讲义PPT-第3讲-分布式文件系统HDFS	分布式文件系统HDFS单元测验	第4讲  分布式数据库HBase	4.1 HBase简介	4.2 HBase数据模型	4.3 HBase的实现原理	4.4 HBase运行机制	4.5 HBase应用方案	4.6 HBase安装配置和常用Shell命令	4.7  HBase常用Java API及应用实例	本讲配套讲义PPT-第4讲-分布式数据库HBase	分布式数据库HBase单元测验	第5讲  NoSQL数据库	5.1 NoSQL概述	5.2 NoSQL与关系数据库的比较	5.3 NoSQL的四大类型	5.4 NoSQL的三大基石	5.5 从NoSQL到NewSQL数据库	5.6 文档数据库MongoDB	本讲配套讲义PPT-第5讲-NoSQL数据库	NoSQL数据库单元测验	第6讲  云数据库	6.1 云数据库概述	6.2 云数据库产品	6.3 云数据库系统架构	6.4 Amazon AWS和云数据库	6.5 微软云数据库SQL Azure	6.6 云数据库实践	本讲配套讲义PPT-第6讲-云数据库	云数据库单元测验	第7讲   MapReduce	7.1 MapReduce概述	7.2 MapReduce的体系结构	7.3 MapReduce工作流程	7.4 Shuffle过程原理	7.5 MapReduce应用程序执行过程	7.6 实例分析：WordCount	7.7 MapReduce的具体应用	7.8 MapReduce编程实践	本讲配套讲义PPT-第7讲-MapReduce	MapReduce单元测验	第8讲  Hadoop再探讨	8.1 Hadoop的优化与发展	8.2 HDFS2.0的新特性	8.3 新一代资源管理调度框架YARN	8.4 Hadoop生态系统中具有代表性的功能组件	本讲配套讲义PPT-第9讲-Hadoop再探讨	Hadoop再探讨单元测验	第9讲  数据仓库Hive	9.1 数据仓库概念	9.2 Hive简介	9.3 SQL转换成MapReduce作业的原理	9.4 Impala	9.5 Hive编程实践	本讲配套讲义PPT-第9讲-数据仓库Hive	数据仓库Hive单元测验	第10讲  Spark	10.1 Spark概述	10.2 Spark生态系统	10.3 Spark运行架构	10.4 Spark SQL	10.5 Spark的部署和应用方式	10.6 Spark编程实践	本讲配套讲义PPT-第10讲-Spark	Spark单元测验	第11讲  流计算	11.1 流计算概述	11.2 流计算处理流程	11.3 流计算的应用	11.4 开源流计算框架Storm	11.5 Spark Streaming、Samza以及三种流计算框架的比较	11.6 Storm编程实践	本讲配套讲义PPT-第11讲-流计算	流计算单元测验	第12讲  Flink	12.1Flink简介	12.2为什么选择Flink	12.3Flink应用场景	12.4Flink技术栈、体系架构和编程模型	12.5 Flink的安装与编程实践	本讲配套讲义PPT-第12讲-Flink	Flink单元测验	第13讲  图计算	13.1 图计算简介	13.2 Pregel简介	13.3 Pregel图计算模型	13.4 Pregel的C++ API	13.5 Pregel的体系结构	13.6 Pregel的应用实例——单源最短路径	13.7 Hama的安装和使用	本讲配套讲义PPT-第13讲-图计算	图计算单元测验	第14讲  大数据在不同领域的应用	14.1 大数据应用概览	14.2 推荐系统	14.3 大数据在智能医疗和智能物流领域运用	本讲配套讲义PPT-第14讲-大数据在不同领域的应用	大数据在不同领域的应用单元测验
课前预备
预备知识
学习大数据技术原理与应用课程需要预备面向对象编程（比如Java）、数据库、操作系统等知识。
学习资料
大数据技术原理与应用课程可以在高校大数据课程公共服务平台、大数据学习路线图上找到相关学习资料。
书名	作者	ISBN	出版时间	出版社
《大数据技术原理与应用（第2版）》	林子雨	978-7-115-44330-4	2017年2月	人民邮电出版社
《大数据导论（通识课版）》	978-7-04-053577-8	2020年2月	高等教育出版社
《大数据基础编程、实验和案例教程》	978-7-302-47209-4	2017年8月	清华大学出版社
《Spark编程基础（Scala版）》	林子雨、赖永炫、陶继平	978-7-115-48816-9	2018年8月	人民邮电出版社
授课目标
大数据技术原理与应用课程授课目标是为学生搭建起通向“大数据知识空间”的桥梁和纽带。该课程将帮助学生形成对大数据知识体系及其应用领域的轮廓性认识，为学生在大数据领域“深耕细作”奠定基础、指明方向。
所获荣誉
2019年1月8日，大数据技术原理与应用课程被教育部认定为国家精品在线开放课程。
教师简介
林子雨，男，1978年出生，博士（毕业于北京大学），厦门大学信息学院计算机科学系副教授，曾任厦门大学信息科学与技术学院院长助理、晋江市发展和改革局副局长。