刘传勇：大数据应用四大核心是“采集、存储、整理、分析”

八度网络CEO、深圳八度BDSaaS企业大数据项目发起人 刘传勇

随着互联网、移动互联网、物联网等新兴技术的发展，中国进入了大数据的爆炸式增长的时代。也已经具备了全球最具潜力的大数据产业发展条件，挖掘分析并利用大数据创造价值也将成为企业发展的重要手段。关于大数据的剖析，网上层出不穷。而公认的一点是，大数据最核心的价值就是在于对于海量数据进行存储和分析，成为帮助企业经营决策更高效的手段。

微信公众号【老刘数据论道 ID：shujulundao】

老刘也曾概括性提出，大数据的应用核心应当归类为四点，数据采集、数据存储、数据处理、数据分析。根据这四大核心，把企业内部大批量看来杂乱无章的数据中的信息集中、萃取和提炼出来，找出内在规律。在实际应用中，帮助帮助企业作出准确的分析判断，以便采取适当的营销决策。

核心一：大数据采集

数据采集的过程，就是利用多个数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。利用技术手段充分挖掘到用户的数据信息。共享或合并来自于企业各方面数据（如：线下直营店，线上天猫，渠道商数据，订单数据，物流信息，客户信息）将企业各数据合并到一个平台上来，解决企业信息孤岛问题。

微信公众号【老刘数据论道 ID：shujulundao】

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑，这也要求一个数据存储的强大支撑。

核心二：大数据存储

大数据，顾名思义，首先体现在一个“大”字上面，这便涉及到大数据的存储功能。随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络营销以及信息科技的发展。硬件的发展最终还是由软件需求推动的，我们很明显的看到大数据分析应用需求正在影响着数据存储基础设施的发展。

微信公众号【老刘数据论道 ID：shujulundao】

因此，如何存储文件系统层累积的元数据是一个难题，处理不当的话会影响到系统的扩展能力和性能，而传统的NAS系统就存在这一瓶颈。所幸的是，基于对象的存储架构就不存在这个问题，它可以在一个系统中管理十亿级别的文件数量，而且还不会像传统存储一样遭遇元数据管理的困扰。基于对象的存储系统还具有广域扩展能力，可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。此外，大数据应用还存在实时性的问题，特别是涉及到与网上交易或者金融类相关的应用。

核心三：大数据处理

数据处理，是数据统计分析的基础，自然也是大数据的核心之一。

微信公众号【老刘数据论道 ID：shujulundao】

从商业角度来看，数据处理从未知的统计分析模式为企业提供了非常有价值的洞察力。数据整理技术能够为企业对未来的发展带来一定的预见性。

数据处理主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。

核心四：大数据分析

大数据最为核心的就要看对于大量数据的核心分析能力。数据分析，就是最大化地开发数据的功能，发挥数据的作用。

微信公众号【老刘数据论道 ID：shujulundao】

那么如何进行数据分析呢？统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

为了达到快速高效的处理大量数据的能力，整个IT基础设施需要进行整体优化设计，应充分考量后台数据中心的高节能性、高稳定性、高安全性、高可扩展性、高度冗余，基础设施建设这五个方面，同时更需要解决大规模节点数的数据中心的部署、高速内部网络的构建、机房散热以及强大的数据备份等问题。

微信公众号【老刘数据论道 ID：shujulundao】

通过分析，锁定潜在客户，了解客户的身份特征等信息，针对性出台更具高效的营销决策推出产品。一方面及时掌握业务员业务动态大数据存储，加强企业的管理；另一方面，促进交易行为，使企业运营更加稳健。

在亟待优先解决的IT问题千头万绪的情况下，在大数据价值日益凸显的背景下，企业需要首先加大大数据的应用和相关基础设施的构建，满足对于大数据环境下数据中心高性能、高可扩展性、高安全性和高可用性的要求。

（编辑：上海站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!