大数据治理与服务

2016年上海科学技术出版社出版的图书
大数据已经渗透到各个行业和应用领域，成为企业发展的生产因素和未来竞争的核心力。大数据无论是从业务支撑到业务创新，还是从商业智能到指引决策，都与业务相伴相生。但是大数据给企业带来的机遇得同时，也带来了风险隐患，企业要想充分发挥大数据的价值，就需要大数据治理。《大数据治理与服务》一书从治理角度为读者在大数据的研究、应用和服务领域呈现了一个崭新的视角。它不仅关注大数据相关的战略、组织和架构，也关注安全、隐私与合规以及业务过程中的数据质量，更关注大数据的价值和价值实现的蓝图。
内容简介
《大数据治理与服务》一书从大数据治理的基本概念和现状出发，提出了大数据治理的框架及治理的关键要素，分析了大数据环境下企业面临的挑战、战略转型、组织职能分配等，介绍了大数据环境下的数据质量、数据安全特点和应对方案，以及基于数据生命周期的风险、特点和管理方案，最后给出了大数据治理实施的方法论和基于服务的大数据治理价值展现。
《大数据治理与服务》一书立足于大数据环境下的数据治理，既有治理视角的战略价值、风险合规，也有管理视角的数据资产、数据服务，书中还将模型与案例结合，条理清晰，易于读者使用。
作者单位简介
上海计算机软件技术开发中心（简称：上海软件中心）自2012年参与上海推进大数据研究与发展三年行动计划（2013-2015年）以来，承担了诸多国家及上海市在大数据领域的重大科研项目，对长三角大数据产业发展、大数据交易、大数据技术路线等开展研究，为上海市乃至长三角的大数据产业发展进行战略布局。
上海软件中心在国内数据治理的研究方面，围绕数据治理相关的理论和实践开展研究。并牵头负责了国家《信息技术服务 治理》系列标准的研究，协同中国电子技术标准化研究院和相关单位深入开展治理研究工作。2014年至2015年先后向国际标准化组织ISO提交了数据治理的一系列研究成果。2015年同步推进了国际数据治理标准“ISO/IEC 38505”和国家数据治理标准“信息技术服务 治理 第5部分：数据治理规范”成功立项。
上海软件中心在大数据领域的研究、应用以及标准研制的基础上，联合产学研用机构，通过与理论界和产业界专家进行深入研讨，在不断地学习研究、实践分析过程中完成了《大数据治理与服务》一书，希望在日新月异的大数据发展中，使读者能从另一个视角关注大数据的价值实现和服务创新。
序言
当前，随着以互联网、物联网为代表的信息技术的不断发展和应用，大数据如幽灵般来到了我们的身边。与一个组织相关的日常经营活动、客户/供应商等合作伙伴的行为和活动、消费者的行为轨迹和生活片段、外部自然环境、政治经济环境等无时无刻不在被数字化、被记录下来，形成了大量不断堆积的“数据面包屑”。这些“数据面包屑”被收集、整理、分析、加工处理，其结果可能会无限接近真实的世界。正如徐宗本院士所说，“大数据是指反映真实世界的数据，其量已达到可以从一定程度上反映真实面貌的程度”。
展望大数据时代，数据必将成为除了人力、土地、财务、技术之外的另一种重要的资产。作为一种资产，企业利用大数据，可以更加敏锐地感知周边的变化，更加深邃地洞察客户/消费者以及合作伙伴们的行为和变化趋势，更加精准地优化企业的运营，更加和谐地和商业伙伴一起开展协同创新。大数据正在重塑企业，重新定义行业，正成为跨界的驱动力。当然，大数据更大的商业价值尚未得到体现，有待更多的企业去挖掘，去发现。数据作为一种资产，需要与其他的资产相互组合、相互补充，或此消彼长，或相得益彰。企业需要对数据资产进行管理，直面以及由此带来的数据治理这一重大课题。
半年以前，在一次有关大数据的行业论坛上，我提到了大数据治理的问题，当时就听说作者团队在编写《大数据治理》这本书，我一直期待着看到这本书。今天拿到全书的样稿，内心非常高兴。首先，这本书是国内实践者和学者在这个方面进行的第一次有意义的尝试。这本书的作者团队不但牵头参与国内国际数据治理标准的研制，而且具有丰富的数据治理和大数据行业应用实践经验，融合了国内外在数据治理、IT治理、大数据应用等方面的最新实践成果，从梳理最基本的概念开始，建立起一个自洽的大数据治理框架，并且从3个方面——大数据治理关键域、大数据治理的实施和监督、大数据服务，全面阐述了大数据治理需要关注的问题。
其次，本书对当前大数据治理中的一些关键的领域，如大数据组织、大数据架构、大数据安全、大数据环境下的隐私保护、大数据合规管理、大数据质量管理、大数据服务管理等等均提出了作者们的看法。这些重大的问题，目前无论在理论上还是实践中，均有待深入研究和探索。尽管如此，本书这部分内容从具体操作的层面给读者带来一些思考和启示。
最后，整本书的逻辑结构合理，既包括了一般性的大数据治理工作的描述，也包括从项目实施层面讨论大数据治理涉及到的实际问题，以及从大数据服务提交的角度阐述的重点问题。我相信这本书对于组织的高层管理人员，以及从事大数据治理的专业人员都具有一定的借鉴意义。也殷切的希望本书的作者团队能够再接再厉，在中国大数据治理的领域不断探索，走出一条符合中国特色的大数据治理之路，帮助企业尽快地把散乱在各处的“数据面包屑”加工成醇香可口、营养丰富的“数据面包”真正从大数据中获取最大的利益。
复旦大学管理学院教授
国务院学位委员会管理科学与工程学科评议组成员
教育部电子商务教学指导委员会成员
黄丽华
图书目录
第1章 大数据治理概述
1.1 大数据治理相关概念
1.2 从数据治理到大数据治理
1.3 大数据治理的重要作用
第2章 大数据治理框架
2.1 框架概述
2.2 大数据治理的原则
2.3 大数据治理的范围
2.4 大数据治理的实施与评估
第3章 大数据的战略和组织
3.1大数据战略指明企业转型的方向
3.2 企业制定大数据战略的要点
3.3 大数据战略对组织的影响
3.4 典型大数据组织示例
第4章 大数据架构
4.1 大数据架构概述
4.2 大数据架构参考模型
4.3 大数据架构的实现
第5章 大数据安全、隐私和合规管理
5.1 大数据安全和隐私的问题与挑战
5.2 大数据安全防护
5.3 大数据隐私保护
5.4 大数据合规管理
第6章 大数据质量管理
6.1 大数据特性及其质量管理的复杂性
6.2 大数据质量的概念和维度
6.3 大数据质量管理参考框架
6.4 大数据质量项目实施方法
6.5 大数据质量管理常用方法和工具
第7章 大数据生命周期
7.1 概述
7.2 大数据范围确定
7.3 大数据采集
7.4 大数据存储
7.5 大数据整合
7.6 大数据呈现与使用
7.7 大数据分析与应用
7.8 大数据归档与销毁
第8章 大数据治理实施
8.1 大数据治理实施的目标和动力
8.2 大数据治理实施过程
8.3 大数据治理实施路线图
8.4 大数据治理实施的关键要素
8.5 大数据治理实施框架
第9章 大数据治理审计
9.1 大数据治理审计概述
9.2 大数据治理审计内容
9.3 大数据治理审计方法和技术
9.4 大数据治理审计流程
第10章 大数据服务
10.1 大数据的服务创新
10.2 大数据的服务内容
名人推荐
推荐这本书给大家我觉得是自己作为大数据行业一份子的责任。现在很多人都在谈大数据，其中有传统行业，有银行，也有医院。但我注意到大部分企业都在关注如何用数据进行创新，却很少听到大数据作为原材料应该怎么管理。你可能会说，银行业、通讯业等不是早就在做数据管理了吗？的确，数据管理并不新鲜，20年前就有人在做了。但大数据的含义不仅指数据的大小，还包括数据内容的广泛来源、非结构性及实时连接性等等。大数据的定义其实在不断更新中。我们不禁会问，以往的数据管理思路，能适应新形势的需求吗？我敢大胆的说自上而下的管理方法已经过时了。大数据的本质就是来自开放的力量、频繁的数据更新、更丰富的数据种类、更快速的数据流动，但这些都对中央式的管理方式造成了极大的挑战。我们必须意识到，数据治理不等同于数据管理，绝非仅依靠自上而下的贯彻执行便可解决。相反，数据治理需要每个人的参与和协同，要求大家都有意识去治理好数据，做到人人为我，我为人人。今天不把数据管好，日后对数据的依赖愈深，便愈容易出现问题。数据治理的新思路，不仅是指组织结构上要从由上而下变成全体协同，而且要在技术上创新，用数据去助力大数据治理，帮助大家提高数据质量、保护数据安全及有效控制数据成本。
最后我想说，大数据时代的数据治理，一定是将无线的管理策略化成有形的工作流程，从一纸命令变成根植在每个人心中的信念和下意识的习惯。我们要用大数据的思维方式，用数据治理数据。最后感谢作者对数据治理的坚持，这本书得来不易。
——阿里巴巴集团副总裁，数据委员会会长 车品觉
数据正在成为最基础的战略资源和重要资产被世界各国和经济体所重视。对数据的获取、占有、控制、分配和使用能力成为未来一个国家和地区经济发展水平和社会阶段的重要标志。了解大数据、管理大数据、驾驭大数据，从《大数据治理与服务》开始吧。
——国务院发展研究中心国际技术经济研究所副所长 陈宝国博士
不管人们承认与否，我们已经步入大数据时代。铺天盖地的数据迎面而来，让我们眼花缭乱、一时手足无措。这是一个“知识超前、智慧滞后”的年代，我们应该正确认识并积极应对，早些补上滞后的智慧。历史的经验告诉我们，面对新时代的到来，约定便于沟通的新语系，形成确保质量的新标准，十分必要。学习了解数据治理的思想方法，能帮助我们在新时代少走曲折路，少花冤枉钱。《大数据治理和服务》一书为我们开启了数据治理的大门，介绍了数据治理的若干话题，是很好的入门读物。
——清华大学数据科学研究院执行副院长 韩亦舜
大数据应用进入了广泛而快速的发展阶段，对经济运行、社会发展和城市治理产生着深刻的影响。这种基于近乎全样本并实时获取的海量数据，正在不断积累并形成了有着巨大价值的社会资产。如何发挥好这份新兴资产的作用，需要从应用层面加快研究形成大数据治理的标准规范和服务指引，以促进大数据的健康发展。
——北京市经济信息中心副主任 林明金
大数据是云计算支撑下最有价值的资产，从数据资产，数据管理，数据治理的基本概念到做好数据治理的关键要素是什么，这本书也适合大学生学业补充，从基础概念到项目实施，从治理到管理，到大数据的架构，大数据的服务和应用，尤其是数据质量一章，突出了大数据质量的特色，也给出了管理工具，有实践意义。
——清华大学计算机系副系主任 冯建华
一个创意是否有价值，一个产品功能用户是否喜欢要事实说话。数据就是事实。互联网和计算机技术的发展让快速搜集和处理海量的数据成为现实。大数据让决策科学，有效，和及时。在移动互联网时代，没有大数据，就好像盲人摸象。《大数据治理和服务》对大数据战略，组织管理，技术和规范有很好的介绍。对一个组织如何变身成“数据驱动”很有帮助。
——微软（亚洲）互联网工程院副院长 方黎江
百年公司治理，互联网时代遭遇新挑战，感谢《大数据治理与服务》新思维新利器
——连城国际董事长 中国公司治理知名专家 产学研第一人 王中杰
大数据不仅成为云计算之后的技术和产业热点，而且对人们的工作生活方式、学习思考模式、科学研究范式产生越来越重大的改变和影响；同时伴随而来的数据安全和隐私保护等问题层出不穷，这些问题与其带来的巨大价值同样引人关注。从治理的视角不仅能够更好地发挥大数据的价值，也能够全面构建大数据的安全防护体系。《大数据治理和服务》在这方面做了深入的阐述，从框架、范围、架构、技术、合规、质量、生命周期等多个角度进行了说明分析，能为组织机构的大数据应用和安全防护提供很好的参考和指南。
——公安部第三研究所所长助理 首席科学家、信息网络安全公安部重点实验室主任
——中国计算机学会大数据专家委员会常务委员 金波
大数据时代来临，数据已成为企业重要资产，如何管好、用好大数据，使其发挥最大价值，《大数据治理与服务》系统地回答了这个问题，无论对理论研究，还是实践操作，此书都值得一读。
——国家开发银行信息科技局局长 谭波
近年来，随着信息化的不断推进以及云计算、数据挖掘技术和物联网的广泛应用，促使互联网+技术兴起，所有这些技术都是以多样化的巨量数据为基础实现的。数据不仅仅在我们的地球海量的汇集，更延伸到太空宇宙，在这样的背景下如何看待大数据和应用大数据是我们面临的重要课题。本书从大家数据的概念到数据的汇集、架构及如何应用，再从数据治理到数据安全，以及数据的生命周期内如何管理和利用等方面进行了较为深入的分析，并提出了自己的观点和见解。本书可读性及实用性强，从中可以看到作者试图利用自己的经验和对大数据探索的思路引导大家共同研究。在此诚心的祝愿本书发行成功。
——中国人民银行金融信息中心副总经理 康少康
大数据蕴含丰富的价值，已经成为社会治理和经济发展的重要战略资源。大数据治理和服务的研究有利于推动大数据在各行各业的发展和应用。加强大数据治理，创新大数据服务将促进大数据更安全更有效地发挥价值。
——中国华融资产管理股份有限公司信息科技部总经理 陈忠德
不言而喻，我们正生活在信息时代，各种信息充斥在我们的周围，人们已不再缺乏广泛的信息，而越来越需要有价值的信息。大数据技术的应运而生，为我们获取有效的信息开启了新的航帆。该书围绕上述理念，全面阐述了利用大数据技术获取有效信息的理论与实践。完整提出了大数据治理的概念、框架、机制以及大数据服务所涉及的各个环节，既有广度，又有深度。同时，该书的亮点还在于从管理学和数据治理的角度给予大数据技术以完整的论述和诠释，这与市场上单纯描述大数据技术的书有本质上的区别，对于企业和机构，特别是大企业的信息管理和大数据运用有着重要的指导意义。
——中国银行首席信息经理 刘宁
《大数据治理与服务》一书通过梳理大数据应用的相关概念，由浅入深地为读者拉开了大数据治理的神秘面纱，提供了开展大数据应用的方法。该书系统地描述了大数据治理应坚持的原则和框架体系建设等内容，对读者开展大数据应用前期规划与顶层设计，以及规范应用大数据、创造价值具有很好的学习参考作用。
——中国电子工程设计院副总工程师 谢卫
信息科技从IT向DT发展过程中，数据已经成为基础性战略性资源和新一轮科技产业革命的重要生产力，而如何对数据进行有效的管理和应用将从《大数据治理和服务》中获得启发、形成思路、得到答案，本书由浅入深的从数据实际应用出发，围绕数据的组织、管理、安全、质量、审计以及服务等领域进行了系统性阐述，对大数据从业人员具备重要的指导作用！
——中国电信上海理想信息集团总经理 陆晋军
本书是一套集最佳实践的系统化大数据治理工具，不但从治理层，也从管理层，技术层面给予了相应指导，提供了全面数据治理和项目型单一目标数据治理的方法论。要成为大数据的优质保管仓库和处理中心，数据中心面临诸多挑战，比如根据数据的不同热度采取不同的存储技术，提高业务访问处理效率；比如如何在大数据环境下保护客户的个人隐私等等；同时，将大数据运用于数据中心管理，也为管好数据中心，提供了前所未有的机遇。
——招商银行股份有限公司数据中心总经理 高旭磊
P2P 依靠传统线下信贷方式经营成本高，难以规模化，依靠线上行为痕迹，征信大数据可以大大提高风险管理的有效性，而如何建立一套反欺诈体系，风控指标，这些风险数据的采集、监控标准化都离不开风险导向的数据治理体系的建设。
——东方邦信金融科技有限公司董事长 孙洋