进入冷却期的大数据“热”

过去25年来，美国著名的信息技术咨询公司加特纳尔（Gartner）每年都会发布一份关于新兴信息技术年度成熟度状态（Hype Curve或Hype Cycle，我称之为“忽悠曲线”）的报告。忽悠曲线的纵轴是技术可见度，横轴是技术成熟度。加特纳尔公司的研究人员认为，任何新技术从开始阶段的盲目狂热到遇到挫折后的退缩，都遵循一定的模式。这一过程粗略地分为五个阶段：创新激发、（过分膨胀的）期望（值达到）顶峰、挤掉泡沫、缓慢爬坡和形成生产力，曲线分别呈现为急剧上升、翻越顶峰、急剧下降、缓慢上升和最终的平缓期。

“大数据”在中国正如日中天，我有些好奇它在加特纳尔“忽悠曲线”上的位置究竟如何。查到过去几年的报告，发现“大数据”真正进入曲线是在2011年，当时使用的名字是“‘大数据’和极端信息处理及管理”（注意“大数据”处的引号），足见“大数据”的称呼当时尚不流行。从2012年开始，在“大数据”一词上已经不再有引号了。下图展示“大数据”这几年来在“忽悠曲线”上位置的变化。也注意到，对该项技术的成熟期的预估过去这几年中做了调整（从“2到5年”可成熟调整到“5到10年”可成熟）。

如果加特纳尔是对的，这意味着在行业中“大数据”技术已经翻越了期望值的顶峰，开始进入急速冷却状态。通常在这一阶段见到的是一批先行项目的失败、一些早期的虚假宣传开始被人质疑以及媒体上出现涉及该项技术的负面报道等。

我们不妨猜测一下儿加特纳尔为什么对“大数据”持这样的看法。首先需要关注的是在加特纳尔眼里“大数据”究竟是什么。加特纳尔的“大数据”的定义分为三个组成部分：数据、处理技术和成果或目标。“数据”部分是大数据的基本特性，即那三个著名的以字母“V”开头的英文单词，分别表示数量、改变速率和种类的多样性。一些人认为“大数据”的定义到三个“V”就算完了，但在加特纳尔的定义中这只是三分之一，更重要的部分是后面的“经济（不是廉价！）和创新的数据处理技术”以及“（通过大数据分析得以增强的）洞察力和决策能力”两部分。换句话说，“大数据”是数据、分析工具和分析成果的总称。

“数据”总在那里，不因为“忽悠”与否而改变。事实上，在三个“V”字当中，加特纳尔特别感兴趣的是数据种类的多样性而不是“大”。“大”常常给人以误导，让人以为“大”才是“好”。

“处理技术”是“大数据”热的根本原因和基本表征。凡是谈“大数据”的人说不上三句话就会跳到流行的大数据处理软件上去。“大数据”技术是工具。工具不解决任何问题，工具的成功使用才解决问题。有些人有意无意地将“大数据”技术表述为“解决方案”而不仅仅是“工具”，于是导致了许多不切实际的期望。这在同时也是当下一些“大数据”技术公司的烦恼：工具是有了，但不知道要解决的问题是什么。

在一定程度上，“工具”是“大数据”技术在“忽悠”曲线上坠入深谷的原因之一。“大数据”处理技术仍然处于发展状态，还需要一段时间才能真正成熟。一般认为，目前并不存在“通用”的“大数据”处理技术。大体上说，“大数据”技术为三种常见的处理场景（批量、流和交互处理）准备了三套不完全相同的技术，三套技术的成熟程度不等。可以预见，在未来若干年内，“大数据”技术仍然会有相对快速的发展，新的处理模式仍然可能会出现。这一现状增加了企业或机构就采纳“大数据”技术进行决策的困难。

然而真正的问题存在于“成果”方面。虽然“大数据”表现出诱人的前景，鲜有企业或机构真正因采纳了“大数据”技术而获得商业利益。2103年加特纳尔进行过一次调查。三分之二的受访企业计划在“大数据”上投资，但真正付诸实施的只有百分之八。由于“大数据”技术涉及与企业现有IT设施完全不同的技术架构和技能结构，在“大数据”技术能够真正“落地”并为企业或机构创造可见的经济价值之前，许多企业或机构显然还要继续观望。

“大数据”迟迟不能兑现其商业价值进一步说明“大数据”的宣传中有不少的“忽悠”成分。不管“技术福音师”们怎么说，“大数据”最终可能只是个“小众”现象。首先，不是所有人都有“大数据”去分析；其次，不是所有能够存储和处理“大数据”的人都有分析“大数据”的能力；最后，不是所有“大数据”分析结果都具备商业价值。对“大数据”的分析尤其困难。与过去几年坊间广为流传的“大数据”神话不同，“许多在‘小数据’分析中遇到过的困难在‘大数据’分析中仍然会出现。并非因为数据‘大’了这些问题就消失不见了。”事实上，“这些问题变得更加严重了。”（剑桥大学教授戴维•斯皮格豪特尔的话）。

毫无疑问，“大数据”为数据分析行业开拓了一片新天地。这片新天地中充满着凶险，也有不少诱惑。数据分析人员应该妥善安排好自己工作的优先顺序，不盲目追求“大”的时尚，也不惧怕“大”的挑战，让任何规模、任何种类的数据都最大限度地发挥出它们的价值。

来源：信用中国