《大数据时代:生活、工作与思维的大变革》为迄今为止全世界最好的一本大数据专著。作者维克托•迈尔-舍恩伯格,大数据时代的预言家,《科学》《自然》等著名学术期刊最推崇的互联网研究者之一,拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历。大数据将为人类的生活创造前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉,而更多的改变正蓄势待发。书中展示了谷歌、微软、亚马逊、IBM、苹果、facebook、twitter、VISA等大数据先锋们最具价值的应用案例。
支持者以卡尔·波普尔推崇的科学研究方法力挺舍恩伯格:大胆预测,不断犯错,不断尝试。在大数据认识论中,就是“统计+分类-推理分析=决策”,认为这是一种更加进取的思维方式,进而是一种崭新的生活理念。需要预测贝叶斯定理中所说的先验概率,鉴于新证据的不断涌现更新先验概率进而预测结果。不断犯错,不断尝试,这或许是贝叶斯定理应用起来最容易的一个原则。或者说,一旦获得新信息,我们就应该更新自己的预测。关键在于,知其然,不必知其所以然,知道该怎么做就行;“不再强调意义的真实来源,而是强调意义如何被生产”。“真正‘懂得’大数据的公司,比如谷歌,并没有将大量时间花在构建模型上,”《信号与噪音》作者希尔写道。“这些公司每年从事数十万次实验,在真实的顾客身上测试自己的想法。”
反对者认为,舍恩伯格放弃因果关系而只考察相关性的思路,与其说是一种进步,倒不如说是一种思维紊乱。不利于下一步预测,也无法采取行动[21]。李维明确指出,大数据不提供问题的答案,特别是科学问题,答案在专家或上帝手中,不在网民的口水。真的可以止于“知其然”,而不求“知其所以然”吗?认知计算是否可以取代认知科学?人类的祖先经过长期观察发现蛙鸣与下雨往往同时发生。这样的长期观察大概也称得上是“大数据”。于是试图通过学蛙鸣来求雨。在多次失灵之后走向巫术、献祭和宗教。走向错误道路的根本原因就在于在“知其然不知其所以然”。
中科院彭思龙研究员在科学网博客中提出了“大数据的结果是福是祸?” 的疑问。指出大数据统计现象可能是病态的、暂时的、局部的、曲解的、滥用的。即便我们进入了大数据时代,意识到数据对于决策的重要性,这是好事,但是如果不能意识到数据本身带来的种种问题,那就无从谈起如何使用。
即便是统计结果有一定的参考价值,我们也不能一味的迎合这些所谓的习惯和趋势,因为这些习惯和趋势可能将我们引入一个不可持续的发展过程。从国家层面鼓励科学使用大数据结果的研究是非常必要的。个人或者商业团体往往会倾向于自我或者本组织的利益,不大会真正从社会总成本和总的发展健康度角度看问题。
这些负面影响的研究是一种公益事业,只能是政府牵头来主导,并且有意识的引导这种现象。对于一些没有经过科学验证的统计结果进行甄别和检验。但当我们看到一种规律或者现象,我们能够科学的判断这种规律是否为病态的,还是暂时的,还是局部的,还是被曲解的,还是被滥用的结果,是非常必要的。
在当前迎合为主的情况下,不会有好的结果,在大多数情况下,统计结果可能给我们带来的不是商业机会,而是危险的前兆。误导性的统计结果甚至会引起不必要的社会心理暗示,从而产生严重的社会大众效果。也许大数据统计分析的第三方检验会是未来的一个很重要的商业机会。