大数据定义和十大应用案例
2014-04-29 20:34:25   来源：IT渠道网   评论：0 点击：

7个大数据定义 

大数据究竟是什么？很多人可能仍然有些混淆，本文让我们来看看大数据的一些主要的定义。首先要注意的是，行业内的所有人都普遍认同，大数据不只是更多的数据。

1. 1.    最初的大数据 

大数据的特征可以用很多词来描述。2001年Doug Laney最先提出“3V”模型， 包括数量 （Volume）、速度（Velocity）和种类（Variety）。在那以后，业界很多人把3V扩展到了11V，还包括有效性、真实性、价值和可见性等。

1. 2.    大数据：技术 

为什么13年前的老术语突然被放在聚光灯下？这不仅是因为我们现在拥有比十年前更多的数量、速度和种类。而是因为大数据受到新技术的推动，特别是快速发展的开源技术，例如Hadoop和其他存储和处理数据的NoSQL方式。

这些新技术的用户需要一个术语来将它们区别于以前的技术，于是大数据成了他们的最佳选择。如果你去参加大数据会议，你肯定会发现，涉及关系型数据库的会议会很少，无论他们鼓吹多少个V。

1. 3.    大数据与数据的区别

大数据技术的问题是，大数据有些含糊不清，以至于行业中的每个供应商都可以跳进来声称自己的技术是大数据技术。以下是两种很好的方法来帮助企业理解现在的大数据与过去单纯的大数据的区别。

■交易、交互和观察：这是由Hortonworks公司负责企业战略的副总裁Shaun Connolly提出的。交易是我们过去收集、存储和分析的主要数据。交互是人们点击网页等操作得到的数据。观察是自动收集的数据。

■过程介导数据、人类产生的信息以及机器生成的数据。

4. 大数据：信号 

SAP公司的Steve Lucas认为，应该根据意图和时机来划分这个世界，而不是根据数据的类型。“旧世界”主要是关于交易，当这些交易被记录时，我们已经无法对它们采取任何行动：企业都在不断管理“失效的数据”。而在“新世界”，企业可以使用新的“信号”数据来预测将会发生什么，并进行干预来改善情况。

相关的案例有，追踪社交媒体上人们对品牌的态度，以及预测性维护（用复杂的算法帮助你决定何时需要更换零部件）。

5. 大数据：机会

这是来自451 Research的Matt Aslett，他将大数据定位为“之前因为技术限制而被忽略的数据”。（虽然在技术上，Matt使用了“暗数据”，而不是大数据，但已经非常接近）。

6. 大数据：隐喻

Rick Smolan在其书中写道，大数据是“帮助这个星球生成神经系统的过程，其中我们人类只是另一种类型的传感器”。

7. 大数据：新瓶装旧酒

很多项目基本上是使用以前的技术，这些过去被称为BI或者分析的技术突然跳入大数据的行列中。

尽管大家对大数据的定义有很多争议，但所有人都同意这个事实：大数据是一个大事件，在未来几年将带来巨大的机遇。 

什么是大数据？不要再举例说啤酒和尿布的例子了，Gartner的分析师Doug Laney在讲解大数据案例时提到过55个更有新意更典型的案例，可帮助更清晰的理解大数据时代的到来。

大数据（Big Data），Gartner在最早给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 从数据的类别上看，“大数据”指的是无法使用传统流程或工具处理或分析的信息。 它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。 “大数据”这个术语最早期的引用可追溯到Apache.org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和Google File System（GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。从某种程度上说，大数据是数据分析的前沿技术。

2001年Gartner 分析师Doug Laney在全球最先提出“3V”模型， 包括数量 （Volume）、速度（Velocity）和种类（Variety）。在那以后，业界很多人把3V扩展到了11V，还包括有效性、真实性、价值和可见性等。这些大数据应用案例的意图是说明大数据的实际应用前景，听众们应该思考如何在自己公司里让大数据落地并促进业务的发展。“也许有些例子并非来自于你当前所处的行业，但是你需要考虑如何做到他山之石可以攻玉。”Laney表示。

下面是Laney提到大数据应用的10个典型案例：
1. 梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。

2. Tipp24 AG针对欧洲博彩业构建的下注和预测平台。该公司用KXEN软件来分析数十亿计的交易以及客户的特性，然后通过预测模型对特定用户进行动态的营销活动。这项举措减少了90%的预测模型构建时间。SAP公司正在试图收购KXEN。“SAP想通过这次收购来扭转其长久以来在预测分析方面的劣势。”。

3. 沃尔玛的搜索。这家零售业寡头为其网站Walmart.com自行设计了最新的搜索引擎Polaris，利用语义数据进行文本分析、机器学习和同义词挖掘等。根据沃尔玛的说法，语义搜索技术的运用使得在线购物的完成率提升了10%到15%。“对沃尔玛来说，这就意味着数十亿美元的金额。”

4. 快餐业的视频分析（没有说出这家公司的名字）。该公司通过视频分析等候队列的长度，然后自动变化电子菜单显示的内容。如果队列较长，则显示可以快速供给的食物;如果队列较短，则显示那些利润较高但准备时间相对长的食品。

5. Morton牛排店的品牌认知。当一位顾客开玩笑地通过推特向这家位于芝加哥的牛排连锁店订餐送到纽约Newark机场（他将在一天工作之后抵达该处）时，Morton就开始了自己的社交秀。首先，分析推特数据，发现该顾客是本店的常客，也是推特的常用者。根据客户以往的订单，推测出其所乘的航班，然后派出一位身着燕尾服的侍者为客户提供晚餐。也许，这听起来过于离奇，但是你必须审视自己：“我是否有能力做到这个程度？”

6. PredPol Inc.。PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作，基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率，可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区，盗窃罪和暴力犯罪分布下降了33%和21%。

7. Tesco PLC（特易购）和运营效率。这家超市连锁在其数据仓库中收集了700万部冰箱的数据。通过对这些数据的分析，进行更全面的监控并进行主动的维修以降低整体能耗。

8. American Express（美国运通，AmEx）和商业智能。以往，AmEx只能实现事后诸葛式的报告和滞后的预测。“传统的BI已经无法满足业务发展的需要。”Laney认为。于是，AmEx开始构建真正能够预测忠诚度的模型，基于历史交易数据，用115个变量来进行分析预测。该公司表示，对于澳大利亚将于之后四个月中流失的客户，已经能够识别出其中的24%。

9. Express Scripts Holding Co.的产品制造。该公司发现那些需要服药的人常常也是最可能忘记服药的人。因此，他们开发了一个新产品：会响铃的药品盖和自动的电话呼叫，以此提醒患者按时服药。

10. Infinity Property & Casualty Corp.的黑暗数据（dark data）。Laney对于黑暗数据的定义是，那些针对单一目标而收集的数据，通常用过之后就被归档闲置，其真正价值未能被充分挖掘。在特定情况下，这些数据可以用作其他用途。该公司用累积的理赔师报告来分析欺诈案例，通过算法挽回了1200万美元的代位追偿金额。