大数据有的这些哪些硬伤，伤到你了么？
发布时间：2017-12-05 15:36
可能目前所有的技术都涉及到大数据，但这并不意味着大数据是绝对可靠的。在许多情况下，大数据曾造成过严重事故，但事故的确切原因并不总是很清楚。可能是检测到错误报告、技术故障、缺乏工具、数据不完整、数据不正确甚至是不必要的数据。
毫无疑问，如果有上述提到的错误，那最终结果将会与期望值完全不同。更糟糕的是，结果有时可能没有被分析，导致一系列严重的后果。
大数据的缺陷
由于大数据和云的存在，超级计算机才为任何人所用。然而，我们用来分析和应用海量信息的这一工具通常都有一个致命的缺陷。大部分数据分析都是基于错误的模型，因此错误是不可避免的。
问题的起因就是大数据太“大”了。考虑到我们拥有的数据量，有时甚至使用有缺陷的模型来产生有用的结果。有时侯对自己的技术过于自负，当模型出现故障时，结果就会变得非常难看。
大数据失败案例
Google在2008年推出了大数据这项服务，目的是要预测25个国家的流感疫情。逻辑很简单：分析谷歌在特定地区的流感搜索查询。将搜索结果与该地区流感活动的历史记录进行比较。基于这些结果，活动水平被分为低、中、高或极高。
乍一看，这似乎是一个很合理的想法，但实际上并不是这样。在2013年流感高峰期，Google的流感分析一塌糊涂。原因是算法有缺陷，没有考虑到几个因素。例如，如果搜索“冷”或“发烧”这类词，并不一定意味着搜索人正在找流感症状。Google无法从这场灾难般的失误中恢复过来，最终导致了这个项目在2013年崩溃了。
大数据失败的原因
迄今为止，谷歌流感趋势项目并不是唯一失败的。我们需要吸取教训，不要重蹈覆辙。以下是导致大数据失败的一些原因：
1. 缺乏数据调配和数据管理
通常情况下，组织往往不完全了解他们已有的数据，但仍然决定在此基础上开展新的项目。缺乏关于数据处理的文档、存储、策略和其他的程序。这种情况下，大数据咨询公司可以为您的企业提供一个清晰的路线图和指导，说明应该如何处理您已经拥有的数据，这才是正确战胜大数据的第一步。
2. 未定目标和战略
有太多难以理解的IT术语和营销术语，此外，市场上有太多大数据产品，选择合适的产品很困难。在做任何决定之前，找出实现目标所需的服务和技术非常重要。“在大数据上做小数据”，意思是应该在少量数据上评估您的大数据架构，以确保选择正确的产品。
3. 沟通很重要
数据科学和大数据是领域知识、数学、统计专业知识和编程技能的复杂组合。然而，同时它也必须具有商业意义。通常IT部门和管理层不能理解彼此作出的的变更。为了确保您的大数据对IT和业务领导者都有意义，在项目中确保IT人员与业务人员之间保持良好的沟通。
太大太快
当您第一次开始执行大数据项目时，会有很多未定义的因素，比如预算、技术、路线等等。选择一个小项目，并测量成功的几率。基准测试进展的一个好方法是创建原型或验证概念来验证您已经完成的工作。如果早期阶段存在缺陷，那么推进到项目的下一个阶段是没有意义的。
缺乏IT人才
执行项目的人必须精通新技术，这对于快节奏的IT环境来说是一个挑战。
通过迭代来创新
许多组织在决定之行大数据项目时会感到束手无策，这就是为什么采用迭代方法处理大数据至关重要。组织应该尝试设法让员工自由进行数据实验。最重要的大数据技术是开源的，而且，很多平台也可以作为云服务提供便利，从而进一步降低了失败的机率。
