大数据定义
到底大数据是什么?
要想真正理解大数据,我们首先需要了解一些历史背景。在2001 年左右,Gartner 就大数据提出了如下定义(目前仍是关于大数据的权威解释):大数据指高速 (Velocity) 涌现的大量 (Volume) 的多样化 (Variety) 数据。这一定义表明大数据具有 3V 特性。
简而言之,大数据指越来越庞大、越来越复杂的数据集,特别是来自全新数据源的数据集,其规模之大令传统数据处理软件束手无策,却能帮助我们解决以往非常棘手的业务难题。
大数据的 3V 特性
大量 (Volume)大数据的“大”首先体现在数据量上。在大数据领域,您需要处理海量的低密度的非结构化数据,数据价值可能未知,例如 Twitter 数据流、网页或移动应用点击流,以及设备传感器所捕获的数据等等。在实际应用中,大数据的数据量通常高达数十 TB,甚至数百 PB。
高速 (Velocity)大数据的“高速”指高速接收乃至处理数据— 数据通常直接流入内存而非写入磁盘。在实际应用中,某些联网的智能产品需要实时或近乎实时地运行,要求基于数据实时评估和操作,而大数据只有具备 “高速” 特性才能满足这些要求。
多样化 (Variety)多样化是指可用的数据类型众多。通常来说,传统数据属于结构化数据,能够整齐地纳入关系数据库中。随着大数据的兴起,各种新的非结构化数据类型不断涌现,例如文本、音频和视频等等,它们需要经过额外的预处理操作才能真正提供洞察和支持性元数据。
大数据的价值和真实性
在过去几年里,大数据的定义又新增加了两个 "V":价值 (Value)和真实性 (Veracity)。
首先,数据固然蕴含着价值,但是如果不通过适当方法将其价值挖掘出来,数据就毫无用处。其次,只有真实、可靠的数据才有意义。
如今,大数据已成为一种资本,全球各个大型技术公司无不基于大数据工作原理,在各种大数据用例中通过持续分析数据提高运营效率,促进新产品研发,他们所创造的大部分价值无不来自于他们掌握的数据。
目前,众多前沿技术突破令数据存储和计算成本呈指数级下降。相比过去,企业能够以更低的经济投入更轻松地存储更多数据,而凭借经济、易于访问的海量大数据,您可以轻松做出更准确、更精准的业务决策。
然而,从大数据工作原理角度来讲,