大数据模型成功的关键因素是什么?这些竟然是大数据工程师都要了解的

无论在报纸、杂志、机场媒体，还是在酒吧的闲谈中，大数据都成了一个热门话题。每个人都在谈论这个时尚的话题，但迄今为止只有极少数企业真正成功的运用这一技术!导致这一情况的重要原因就是企业对建立可操作的大数据分析模型成功关键因素缺乏深刻的认识。结合多年来与多家全球性公司合作经验，我们认为：为了取得成功，大数据分析模型需要满足如下几种要求：

1、大数据模型成功的关键因素是什么——业务相关性

业务相关性是对分析模型的第一个关键要求。分析模型必须能够解决特定的商业问题。那些性能优越，却不能解决商业问题的模型是毫无意义的。显然，在模型开发前，对商业背景和业务问题有全面的理解必不可少。例如，在保险欺诈检测问题中，必须在一开始对如何定义、衡量和管理欺诈有清晰的界定。

2、大数据模型成功的关键因素是什么——统计性能

影响模型成功的另一个重要关键因素是模型性能表现。换句话说，从统计意义的角度，分析模型应该显著提高预测或描述的性能。根据分析问题的类型不同，常常采用不同类型的性能评价指标。在客户细分，统计评价指标主要评价对比簇内的相似性与簇间的差异性;在客户流失预测中，主要评价模型是否赋予了潜在流失客户的较高得分。

3、大数据模型成功的关键因素是什么——解释性和合理性

解释性是指分析模型容易为决策者所理解，合理性是指模型与老师的预期和业务知识相一致。解释能力和合理性都是主观判断，取决于决策者的知识和经验。这两个因素与统计性能分析之间常常是矛盾的，譬如：复杂神经网络和随机森林模型预测性能较好，但是解释性较差。所以，决策者需要在两者之间寻找平衡点。在信用风险分析等应用场景中，解释性和合理性是非常重要的因素，而在欺诈检测和营销响应建模中，这一因素就不是那么重要了。

4、大数据模型成功的关键因素是什么——运行效率

运行效率涉及模型评估、监测、检验及重建过程中所需投入的时间。从这个因素来看，很明显的神经网络或随机森林效率较低，而回归模型和决策树等更有效率。在信用卡欺诈检测等业务场景中，运行效率是非常重要的，因为所有的决策必须在信用卡交易开始后几秒钟内完成。

5、大数据模型成功的关键因素是什么——经济成本

经济成本是收集模型所需数据、运行模型以及分析模型结果的过程中所投入的成本，此外还包括引入外部数据和模型的成本。在分析模型的经济回报时，所有的这些成本都必须考虑在内，通常不是能简单直接计算出来的。

6、大数据模型成功的关键因素是什么——合规性

在很多行业中，合规性变得越来越重要。合规性是指模型对现有制度和法律的遵从程度。在信用风险领域，分析模型符合巴塞尔协议II和III的规定尤其重要。而在保险行业中，模型则必须遵从欧盟偿付能力协议(Solvency II) 。

总结以上，在本博客文章中，我们简要论述了成功构建数据分析模型的关键因素。如我们所指出的那样，每个因素的重要性取决于模型应用场景。

以上就是对于《大数据模型成功的关键因素是什么?这些竟然是大数据工程师都要了解的》的详细分析，我们可以从这些分析中看到大数据模型的重要性，以及大数据未来的发展方向。如果你想知道更多大数据的相关知识，可以点击下方资料下载链接。