标题：数据分析
介绍
概念[1]（Data Analysis） 
数据是事实，也称观测值，是实验、测量、观察、调查等的结果，常以数量的形式给出。数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程，以提升有效性。例如J.开普勒通过分析行星角位置的观测数据，找出了行星运动规律。又如，一个企业的领导人要通过市场调查，分析所得数据以判定市场动向，从而制定合适的生产及销售计划。因此数据分析有极广泛的应用范围。(项目数据分析师上海管理中心）
怎么判断一个人是否适合做数据分析？
[2]1、问问他喜欢什么，平时对什么事情有兴趣，然后挖掘这些事情中他关注什么数据，比如买彩票？炒股？看nba？其实里面都有很多数据，他在他喜欢的领域，如果能对数据如数家珍，对数据的解读能到位，（比如对某个nba 球星的数据和所对应的表现状态做评论）至少说明他有很强的数据感。数据感是做数据分析的第一要务。
2、问问他对数据分析的理解和目标，看看他是怎么认识这份工作的。类型在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析；其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧重于已有假设的证实或证伪。 
探索性数据分析：是指为了形成值得假设的检验而对数据进行分析的一种方法，是对传统统计学假设检验手段的补充。该方法由美国著名统计学家约翰·图基(John Tukey)命名。 
定性数据分析：又称为“定性资料分析”、“定性研究”或者“质性研究资料分析”，是指对诸如词语、照片、观察结果之类的非数值型数据（或者说资料）的分析。案例Suncorp-Metway使用数据分析实现智慧营销
Suncorp-Metway是澳大利亚一家提供普通保险、银行业、寿险和理财服务的多元化金融服务集团, 旗下拥有5个业务部门，管理着14类商品，由公司及共享服务部门提供支持,其在澳大利亚和新西兰的运营业务与900多万名客户有合作关系。
该公司过去十年间的合并与收购,使客户群增长了200%,这极大增加了客户群数据管理的复杂性,如果解决不好,必将对公司利润产生负面影响.为此,IBM公司为其提供了一套解决方案,组件包括:IBM Cognos 8 BI、IBMInitiate Master Data Service谀IBM Unica。
在此之前，Suncorp-Metway公司使用23个不同来源的系统来保存客户数据。该方案通过创建主数据中枢，将公司的2300万个源记录减少至大约900万个特殊账户，并能够集中提供每一名客户的所有可用数据。这个单一客户视图不仅能够帮助公司更加深入地了解每一名客户的总体综合品牌价值，而且还能帮助针对向哪些客户推销哪些产品做出更加明智的决策，即能够更加准确地精准销售和交叉销售各品牌的产品，以确保营销活动不会令各品牌之间产生内部冲突并且避免重复工作。
采用该方案后，Suncorp-Metway公司至少在以下三项业务方面取得显著成效：
1、显著增加了市场份额，但没有增加营销开支；
2、每年大约能够节省1000万美元的集成与相关成本；
3、避免向同一户家庭重复邮寄相同信函并且消除冗余系统，从而同时降低直接邮寄与运营成本。
由此可见，Suncorp-Metway公司通过该方案将此前多个孤立来源的数据集成起来，实现智慧营销，对控制成本，增加利润起到非常积极的作用。
数据分析帮助辛辛那提动物园提高客户满意度
辛辛那提动植物园成立于1873年，是世界上著名的动植物园之一，以其物种保护和保存以及高成活率繁殖饲养计划享有极高声誉。它占地面积71英亩，园内有500种动物和3000多种植物，是国内游客人数最多的动植物园之一，曾荣获Zagat十佳动物园，并被《父母》（Parent）杂志评为最受儿童喜欢的动物园，每年接待游客130多万人。
辛辛那提动植物园是一个非营利性组织，是俄亥州同时也是美国国内享受公共补贴最低的动植物园，除去政府补贴，2600万美元年度预算中，自筹资金部分达到三分之二以上。为此，需要不断地寻求增加收入。而要做到这一点，最好办法是为工作人员和游客提供更好的服务，提高游览率。从而实现动植物园与客户和纳税人的双赢。
作为自我完善的一部分，动植物园高层管理团队开始全面检查运营工作，发现最重要的一个问题是难以了解动植物园日常实际运营：除最基本情况外，管理层不掌握的运营数据包括——每天游览人数、门票、会员、零售和餐饮服务的总收入。更糟糕的是，这四项收入分别采用不同的零售终端平台。也就是说，游览、销售和客户行为数据保存在多个离散的系统中，难以为实现动植物园宏伟的目标提供实时分析结果。随着了解实时访问运营数据产生的价值越多，管理层越感到需要引入集中式商业分析解决方案，在每个方面转变动植物园的运营模式。
简言之就是，动植物园利用强大的IBM Cognos Business Intelligence商业智能分析解决方案将售票处、会员、食品和零售终端系统整合到企业数据库中，全面分析所有业务活动。当游客在入口、出口、商店、餐厅或游览过程中刷会员卡时，解决方案可以实时获取并分析他们的行为，并进一步与天气预报和映射服务等其他资源的相关数据整合，帮助动植物园根据不断变化的条件调整服务，从而提高了客户满意度以及财务绩效水平。
借助于该方案强大的收集和处理能力、互联能力、分析能力以及随之带来的洞察力，在部署后，企业实现了以下各方面的受益：
·帮助动植物园了解每个客户浏览、使用和消费模式，根据时间和地理分布情况采取相应的措施改善游客体验，同时实现营业收入最大化。
·根据消费和游览行为对动植物园游客进行细分，针对每一类细分游客开展营销和促销活动，显著提高忠诚度和客户保有量。.
·识别消费支出低的游客，针对他们发送具有战略性的直寄广告，同时通过具有创意性的营销和激励计划奖励忠诚客户。
· 360度全方位了解客户行为，优化营销决策，实施解决方案后头一年节省40,000多美元营销成本，同时强化了可测量的结果。
·采用地理分析显示大量未实现预期结果的促销和折扣计划，重新部署资源支持产出率更高的业务活动，动植物园每年节省100,000多美元。
·通过强化营销提高整体游览率，2011年至少新增50,000人次“游览”。
·提供洞察结果强化运营管理。例如，即将关门前冰激淋销售出现高潮，动植物园决定延长冰激淋摊位营业时间，直到关门为止。这一措施夏季每天可增加2,000美元收入。
·与上年相比，餐饮销售增加30.7%，零售销售增加5.9%。
·动植物园高层管理团队可以制定更好的决策，不需要 IT 介入或提供支持。
·将分析引入会议室，利用直观工具帮助业务人员掌握数据。
未来扩展
辛辛那提动植物园已取得引人注目的成就，但管理团队认为，这只是应用商业分析的开始。在第二阶段将通过Cognos进行调查，实时了解人们在公园的经验。并计划引入面向客户的分析，进一步实现游客体验个性化。同时还将积极探索如何利用IBM Business Analytics 商业分析软件，将动植物园业界领先的可持续发展能力提高到更新的水平。例如：计划利用 IBM Business Analytics软件预测用电高峰需求，从而节省动植物园全年的电费，同时保护地球。用动植物园运营总监 John Lucas的话来说——“IBM和Brightstar Partners分析项目证明，只要能够访问正确的信息，几乎可以实现任何可能，因此我们认为，这种智能分析将在我们今后的工作中继续发挥重要作用。”[3]
步骤
步骤数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步： 
1、探索性数据分析：当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。 
  CNNIC数据：中国网民规模2、模型选定分析，在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。 
3、推断分析：通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。　分析方法1、列表法 
将实验数据按一定规律用列表方式表达出来是记录和处理实验数据最常用的方法。表格的设计要求对应关系清楚、简单明了、有利于发现相关量之间的物理关系；此外还要求在标题栏中注明物理量名称、符号、数量级和单位等；根据需要还可以列出除原始数据以外的计算栏目和统计栏目等。最后还要求写明表格名称、主要测量仪器的型号、量程和准确度等级、有关环境条件参数如温度、湿度等。 
2、作图法 
作图法可以最醒目地表达物理量间的变化关系。从图线上还可以简便求出实验需要的某些结果（如直线的斜率和截距值等），读出没有进行观测的对应点（内插法），或在一定条件下从图线的延伸部分读到测量范围以外的对应点（外推法）。此外，还可以把某些复杂的函数关系，通过一定的变换用直线图表示出来。例如半导体热敏电阻的电阻与温度关系为，取对数后得到，若用半对数坐标纸，以lgR为纵轴，以1/T为横轴画图，则为一条直线。
过程实施
数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。
识别信息需求
识别信息需求是确保数据分析过程有效性的首要条件，可以为收集数据、分析数据提供清晰的目标。识别信息需求是管理者的职责管理者应根据决策和过程控制的需求，提出对信息的需求。就过程控制而言，管理者应识别需求要利用那些信息支持评审过程输入、过程输出、资源配置的合理性、过程活动的优化方案和过程异常变异的发现。　
收集数据
有目的的收集数据，是确保数据分析过程有效的基础。组织需要对收集数据  数据分析的内容、渠道、方法进行策划。策划时应考虑： 
①将识别的需求转化为具体的要求，如评价供方时，需要收集的数据可能包括其过程能力、测量系统不确定度等相关数据； 
②明确由谁在何时何处，通过何种渠道和方法收集数据； 
③记录表应便于使用； ④采取有效措施，防止数据丢失和虚假数据对系统的干扰。分析数据分析数据是将收集的数据通过加工、整理和分析、使其转化为信息，通常用方法有： 
老七种工具，即排列图、因果图、分层法、调查表、散步图、直方图、控制图； 
新七种工具，即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图；过程改进数据分析是质量管理体系的基础。组织的管理者应在适当时，通过对以下问题的分析，评估其有效性： 
①提供决策的信息是否充分、可信，是否存在因信息不足、失准、滞后而导致决策失误的问题； 
②信息对持续改进质量管理体系、过程、产品所发挥的作用是否与期望值一致，是否在产品实现过程中有效运用数据分析； 
③收集数据的目的是否明确，收集的数据是否真实和充分，信息渠道是否畅通； 
④数据分析方法是否合理，是否将风险控制在可接受的范围； 
⑤数据分析所需资源是否得到保障。
挖掘研究
[4] 数据挖掘研究 Hans Journal of Data Mining 是一本关注数据挖掘领域最新进展的国际中文期刊，由汉斯出版社发行，主要刊登数据结构、数据安全、知识工程等计算机信息系统建设相关内容的学术论文和成果评述。本刊支持思想创新、学术创新，倡导科学，繁荣学术，集学术性、思想性为一体，旨在为了给世界范围内的科学家、学者、科研人员提供一个传播、分享和讨论数据挖掘领域内不同方向问题与发展的交流平台。
研究领域：
· 数据结构  数据挖掘研究
· 数据安全与计算机安全
· 数据库
· 数据处理
· 知识工程
· 计算机信息管理系统
· 计算机决策支持系统
· 计算机应用其他学科
· 模式识别
· 人工智能其他学科
意义作用
数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程，以提升有效性。例如J.开普勒通过分析行星角位置的观测数据，找出了行星运动规律。又如，一个企业的领导人要通过市场调查，分析所得数据以判定市场动向，从而制定合适的生产及销售计划。因此数据分析有极广泛的应用范围。网络营销对网络营销的意义
在中国，尽管网络营销的概念很火，但网络营销的效率低于一些发达国家也是事实。无论是门户广告、搜索引擎广告，还是广告联盟，从行业平均转化率上看，都要低于国外较为成熟国家的水平。据估计，国内的Bounce rate（蹦失率，即用户只浏览第一页即离开的比例）介于90%~99%之间，而欧美的Bounce rate则是70%左右。 
诚然，国内的网络营销环境处于发展之中，环境不那么尽如人意，但中国互联网络信息中心分析师孙秀秀认为，出现这种情况的很多责任在投放广告的企业方，在于对营销背后的数据分析工作的不重视，没有精确定位有效的客户群，导致大量的展示给了不相关的网民。 
通常，广告投放前的数据分析可以分为两步走。第一步：描述目标群体。比如，目标群体是18～25岁，上网购物的年轻女性。第二步：描述此群体的网络活动轨迹。 
也就是说，知道目标客户群上什么网站、做什么事、在什么时间地点能够找到他非常重要。实际上，论覆盖面，网络营销还远远赶不上传统媒体。2009年底中国的互联网普及率为28.9%，而同期中国电视的普及率却已经超过80%，但是，仍旧有很多有远见的企业选择网络营销。其中的一个重要原因是，网络营销的全过程都可以被追踪到，通过数据分析可以随时调整投放方式。 项目数据分析项目数据分析的重要意义
[5]数据分析不仅可以在网络广告前期发挥巨大作用，在投放后期同样是调整广告方向的重要工具。比如，通过数据可以看到用户从哪里来、如何组织产品页面可以实现很好的转化率、投放广告的效率如何等等问题。基于数据分析的每一点点改变，都可以使赚钱的能力提高一点点。所以，只有称数据分析为网络营销的灵魂才能凸显数据分析的重要性。现在，是重视数据分析的时候了。
行业发展状况
[6]数据分析行业，在国外的发展已经非常成熟，每年有上千亿美元的市场份额。在国外，数据分析非常重要，在美国有专门的数据中心，为全国甚至全球的数据分析行业提供数据平台，还有一些图书馆，专门设有数据分析，数据统计图书收藏，为数据分析行业的从业人员提供查询搜索平台。　　在我国，数据分析工作正在被逐渐的受到重视，越来越多的人们意识到此项工作环节的重要性。08年4月份，经我国资委审批、民政部备案后，中国商业联合会数据分析专业委员会正式成立，这是数据分析行业内唯一的协会，它的成立标志着我国数据分析行业在经济发展中的地位已经被得到充分的认可，数据分析工作也会因此走向更加规范的发展轨道。　　
分析方法
在市场调查数据分析中，我们常用的分析方法有：描述性统计（包括集中趋势分析、频数分析、数据的分布、数据离散程度分析等）、回归分析、主成分分析与因子分析、判别分析、聚类分析、时间序列分析以及常用数据分析方法。数据分析是指用适当的统计方法对收集来的大量一手和二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
综上数据分析对于项目的实施具有重要的意义。
问卷数据
采用的分析方法如下：
1、描述性统计分析
包括样本基本资料的描述，作各变量的次数分配及百分比分析，以了解样本的分布情况。此外，以平均数和标准差来描述市场导向、竞争优势、组织绩效等各个构面，以了解样本企业的管理人员对这些相关变量的感知，并利用t检验及相关分析对背景变量所造成的影响做检验。
2、Cronbach’a信度系数分析
信度是指测验结果的一致性、稳定性及可靠性，一般多以内部一致性（consistency）来加以表示该测验信度的高低。信度系数愈高即表示该测验的结果愈一致、稳定与可靠。针对各研究变量的衡量题项进行Cronbach’a信度分析，以了解衡量构面的内部一致性。一般来说，Cronbach’a仅大于0．7为高信度，低于0．35为低信度（Cuieford，1965），0．5为最低可以接受的信度水准（Nunnally，1978）。
3、探索性因素分析（exploratory factor analysis）和验讧性因素分析（confirmatory factor analysis）
用以测试各构面衡量题项的聚合效度（convergent validity）与区别效度（discriminant validity）。因为仅有信度是不够的，可信度高的测量，可能是完全无效或是某些程度上无效。所以我们必须对效度进行检验。效度是指工具是否能测出在设计时想测出的结果。收敛效度的检验根据各个项目和所衡量的概念的因素的负荷量来决定；而区别效度的检验是根据检验性因素分析计算理论上相关概念的相关系数，检定相关系数的95%信赖区间是否包含1．0，若不包含1．0，则可确认为具有区别效度（Anderson，1987）。
4、结构方程模型分析（structural equations modeling）
由于结构方程模型结合了因素分析（factor analysis）和路径分析（path analysis），并纳入计量经济学的联立方程式，可同时处理多个因变量，容许自变量和因变量含测量误差，可同时估计因子结构和因子关系。容许更大弹性的测量模型，可估计整个模型的拟合程度（Bollen和Long，1993），因而适用于整体模型的因果关系。在模型参数的估计上，采用最大似然估计法（Maximum Likelihood，ML）；在模型的适合度检验上，以基本的拟合标准（preliminary fit criteria）、整体模型拟合优度（overall model fit）以及模型内在结构拟合优度（fit of internal structure of model）（Bagozzi和Yi，1988）三个方面的各项指标作为判定的标准。在评价整体模式适配标准方面，本研究采用x2（卡方）/df（自由度）值、拟合优度指数（goodness．of．f：iJt．in．dex，GFI）、平均残差平方根（root—mean．square：residual，RMSR）、近似误差均方根（root-mean—square-error-of-approximation，RMSEA）等指标；模型内在结构拟合优度则参考Bagozzi和Yi（1988）的标准，考察所估计的参数是否都到达显著水平。
图书方面
图书信息书 名: 数据分析  数据分析 封面
作者：范金城
出版社： 科学出版社
出版时间： 2010年02月
开本： 16开
定价: 38.00 元内容简介《数据分析(第2版)》介绍了数据分析的基本内容与方法，其特点是既重视数据分析的基本理论与方法的介绍，又强调应用计算机软件SAS进行实际分析和计算能力的培养。主要内容有：数据描述性分析、非参数秩方法、回归分析、主成分分析与因子分析、判别分析、聚类分析，时间序列分析以及常用数据分析方法的SAS过程简介。《数据分析(第2版)》每章末附有大量实用、丰富的习题，并要求学生独立上机完成。
《数据分析(第2版)》可作为高等院校信息科学及数理统计专业的本科生教材，也可供有关专业的研究生及工程技术人员参考。图书目录第1章 数据描述性分析
1.1 数据的数字特征
1.1.1 均值、方差等数字特征
1.1.2 中位数、分位数、三均值与极差
1.2 数据的分布
1.2.1 直方图、经验分布函数与QQ图
1.2.2 茎叶图、箱线图及五数总括
1.2.3 正态性检验与分布拟合检验
1.3 多元数据的数字特征与相关分析
1.3.1 二元数据的数字特征及相关系数
1.3.2 多元数据的数字特征及相关矩阵
1.3.3 总体的数字特征及相关矩阵
习题
第2章 非参数秩方法
2.1 两种处理方法比较的秩检验
2.1.1 两种处理方法比较的随机化模型及秩的零分布
2.1.2 Wilcoxon秩和检验
2.1.3 总体模型的Wilcoxon秩和检验
2.1.4 Smimov检验
2.2 成对分组设计下两种处理方法的比较
2.2.1 符号检验
2.2.2 Wilcoxon符号秩检验
2.2.3 分组设计下两处理方法比较的总体模型
2.3 多种处理方法比较的Kruskal-Wallis检验
2.3.1 多种处理方法比较中秩的定义及Kruskal-Wallis统计量
2.3.2 KruskaLWallis统计量的零分布
2.4 分组设计下多种处理方法的比较
2.4.1 分组设计下秩的定义及其零分布
2.4.2Friedmsn检验
2.4.3 改进的Friedman检验
习题
第3章 回归分析
3.1 线性回归模型
3.1.1 线性回归模型及其矩阵表示
3.1.2 饧绑2的估计
3.1.3 有关的统计推断
3.2 逐步回归法
3.3 Logistic回归模型
3.3.1 线性Logistic回归模型
3.3.2 参数的最大似然估计与Newton-Raphson迭代解法
3.3.3 Logistic模型的统计推断
习题
第4章 主成分分析与因子分析
4.1 主成分分析
4.1.1 引言
4.1.2 总体主成分
4.1.3 样本主成分
4.2 因子分析
4.2.1 引言
4.2.2 正交因子模型
4.2.3 参数估计方法
4.2.4 主成分估计法的具体步骤
4.2.5 方差最大的正交旋转
4.2.6 因子得分
习题
第5章 判别分析
5.1 距离判别
5.1.1 判别分析的基本思想及意义
5.1.2 两个总体的距离判别
5.1.3 判别准则的评价
5.1.4 多个总体的距离判别
5.2 Bayes判别
5.2.1 Bayes判别的基本思想
5.2.2 两个总体的Bayes判别
5.2.3 多个总体的Bayes判别
5.2.4 逐步判别简介
习题
第6章 聚类分析
6.1 距离与相似系数
6.1.1 聚类分析的基本思想及意义
6.1.2 样品间的相似性度量——距离
6.1.3 变量间的相似性度量——相似系数
6.2 谱系聚类法
6.2.1 类间距离
6.2.2 类间距离的递推公式
6.2.3 谱系聚类法的步骤
6.2.4 变量聚类
6.3 快速聚类法
6.3.1 快速聚类法的步骤
6.3.2 用Lm距离进行快速聚类
习题
第7章 时间序列分析
7.1 平稳时间序列
7.1.1 时间序列分析及其意义
7.1.2 随机过程概念及其数字特征
7.1.3 平稳时间序列与平稳随机过程
7.1.4 平稳性检验及自协方差函数、自相关函数的估计
7.2 ARMA时间序列及其特性
7.2.1 ARMA时间序列的定义
7.2.2 ARMA序列的平稳性与可逆性
7.2.3 ARMA序列的相关特性
7.3 ARMA时间序列的建模与预报
7.3.1 ARMA序列参数的矩估计
7.3.2 ARMA序列参数的精估计
7.3.3 ARMA模型的定阶与考核
7.3.4 平稳线性最小均方预报
7.3.5 ARMA序列的预报
7.4 ARIMA序列与季节性序列
7.4.1 ARIMA序列及其预报
7.4.2 季节性序列及其预报
习题
第8章 常用数据分析方法的SAS过程简介
8.1 SAS系统简介
8.1.1 建立SAS数据集
8.1.2 利用已有的SAS数据集建立新的SAS数据集
8.1.3 SAS系统的数学运算符号及常用的SAS函数
8.1.4 逻辑语句与循环语句
8.2 常用数据分析方法的SAS过程
8.2.1 几种描述性统计分析的SAS过程
8.2.2 非参数秩方法的SAS过程
8.2.3 回归分析的SAS过程
8.2.4 主成分分析与因子分析的SAS过程
8.2.5 判别分析的SAS过程
8.2.6 聚类分析的SAS过程
8.2.7 时间序列分析的SAS过程——PROCARIMA过程
8.2.8 SAS系统的矩阵运算——PROC IML过程简介
主要参考文献
……