010-62840085 msh@sunitschina.cn 全国30+城市服务网络 · 1000+技术团队

大数据概念兴起:2012年企业该如何理解和应对

旭日神州研究院 · 2012年08月20日 · 技术干货

一、2012年大数据为什么火

2012年,几个标志性事件推动了大数据概念普及:

  • 麦肯锡发布《大数据:下一个创新、竞争和生产力的前沿》报告。
  • Obama政府宣布"大数据研究与发展计划"。
  • 阿里、腾讯、百度等互联网公司公开分享大数据实践。
  • Hadoop生态逐渐成熟,从雅虎开源走向更多企业。

二、什么是大数据

业内通常用4个V来定义大数据:

  • Volume(大量):数据规模从TB到PB级别。
  • Velocity(高速):数据产生和处理速度快,很多需要实时处理。
  • Variety(多样):结构化、半结构化、非结构化数据(文本、图片、视频)。
  • Value(价值):数据价值密度低,但总量大,挖掘后价值高。

三、Hadoop生态简介

2012年Hadoop 1.0已经比较成熟,核心组件:

  • HDFS:分布式文件系统,将大文件切分存储在多台机器上。
  • MapReduce:分布式计算框架,将计算任务分发到集群并行执行。
  • Hive:在HDFS之上提供SQL查询能力(HiveQL),让熟悉SQL的分析师也能用。
  • HBase:分布式列式数据库,支持随机实时读写。

但2012年的Hadoop主要还是离线批处理,实时计算能力弱(Storm、Spark还在早期)。

四、中小企业需要大数据吗

我们的判断是:2012年绝大多数中小企业还谈不上"大数据",但要有"数据思维"。

4.1 先做好数据基础

很多中小企业连最基本的业务数据都没有结构化记录——客户信息在销售个人手机里,销售数据在Excel里。这种情况下谈大数据为时过早。

第一步应该是:建立业务数据库,把客户、订单、产品等核心数据沉淀下来。

4.2 从数据报表开始

有了结构化数据后,先做基础的统计报表:销售趋势、客户分布、产品热度。用MySQL + 简单的BI工具(2012年我们用JasperReports或自研报表)就能解决80%的问题。

4.3 真正需要大数据的场景

当你的业务出现以下情况时,才值得考虑Hadoop等大数据技术:

  • 单表数据超过千万级,MySQL查询已经很慢。
  • 需要分析日志、社交媒体等非结构化数据。
  • 有实时推荐、实时风控等低延迟需求。

五、我们服务客户的实践

2012年我们服务的企业中,真正用到Hadoop的几乎没有。但我们做了这些"准大数据"工作:

  • 为电商客户建立用户行为日志收集系统(用JavaScript埋点)。
  • 将订单数据按月汇总,做销售趋势分析。
  • 为客户搭建数据看板,管理层可以实时查看核心业务指标。

这些工作虽然不涉及Hadoop,但为客户未来的大数据应用打下了数据基础。

六、总结

大数据是趋势,但2012年它还主要是大型互联网公司的游戏。中小企业不必盲目跟风上Hadoop集群,而应该先把业务数据化、把数据报表做扎实。等数据量真的到了MySQL扛不住的程度,再引入分布式技术也不迟。技术永远服务于业务,不是反过来。

本文关键词:大数据,Hadoop,数据分析,企业IT,2012技术趋势
← 上一篇(更新)
IT外包vs自建团队:2012年中小企业技术团队怎么搭
下一篇(更早) →
云计算早期:2012年AWS与国内云服务能为企业做什么

相关推荐

准备好开启您的数字化转型之旅了吗?

1000+技术团队 · 5000+企业客户 · 15年行业经验,期待与您合作