探秘大数据中的“大”宝藏

　　在刚刚发布《中国大数据技术与服务市场2012-2016年预测与分析》报告中的数据显示，中国大数据技术和服务市场未来5年的复合增长率将达51.4%。报告中指出，淘宝、腾讯，以及百度等互联网巨头是率先使用大数据技术的用户，同时电信和银行领域也开始对大数据技术和服务产生浓厚的兴趣。

　　Gartner也预测，到2015年，大数据将为全球带来440万个IT岗位，其中96万个IT岗位会在亚太地区。每个大数据相关的岗位将催生三个非IT的就业机会，从而使亚太地区的就业机会总计达到40万个。种种数据表明，大数据不仅会为人们的日常生活带来影响，对整个IT生态链也是一个巨大的机遇。

　　生活中的大数据

　　对于普通的用户来说，虽然不必关心大数据的概念究竟是什么，但一些案例却可以直入生活。就拿刚刚过去的11月11日，天猫商城所创造的191亿元销售额的传奇来说，商家已经懂得了如何利用用户以往的购买记录去推送有针对性的商品。还有沃尔玛创造的“尿布+啤酒”的营销传奇至今还在被人们津津乐道。尿布、啤酒这看似两种针对客户群完全不同的产品，却在沃尔玛的销售记录里创造了令人惊奇的搭配效果。这个故事讲的是，如果太太让先生去楼下买尿布时，先生一般都会按照自己的需求再顺带捎上两听啤酒，因而啤酒和尿布被一起购买的机会最多。这个案例是由沃尔玛商场的智能化信息分析系统挖掘出来的秘密，这个系统让沃尔玛成为了“最了解消费者”的零售商，而这个故事也成为了大数据影响人们日常生活的一个经典案例。

　　作为都灵大学肿瘤学系的私营且非嬴利机构，该校的癌症研究所一直致力于了解癌症基本机理，为病人提供最佳诊断和治疗服务。目前，研究人员努力让他们大量的研究数据变得更具有意义。他们最新采用了来自Kairos3D 公司生产的名为GenomeCruzer的产品。GenomeCruzer由Gilgamesh大数据3D可视化引擎驱动，提供一个整合有数据模式和关系、且能够让整个数据集被看到和开发的环境。癌症研究所的Enzo Medico博士说：“这个神奇的工具提升了我们对庞大数据集的利用率，并获得了前所未有的数据分析速度。该工具的这一优势已经被确认。”这种最新的交互式3D大数据可视化可以推进癌症研究进程，缩短癌症治疗过程。

　　上述的两个例子已经足以让我们意识到大数据带来的益处。不仅是在零售、医疗行业，PMC公司企业存储事业部市场营销副总裁Derek Dicker表示：“在众多垂直行业中，数据量都在快速增长。例如石油、天然气、气候建模和预报、生命科学等行业。”以气候行业为例，政府机构在研究气象模式时需要创建并分析大数据集，从而更加准确地预报气候变化的强度、方向，以及持续时间，这将影响数百万人的日常生活。为了实现上述的案例，一个大数据分析平台必不可少，为大数据而生的新兴技术也开始层出不穷。

　　阿里云的大数据经验

　　伴随着大数据概念的火热，以一只大象为代表的Hadoop迅速席卷了IT人士的视野。这种分布式的计算模式几乎成为了公认的大数据处理模式，随之而来的，是IT巨头纷纷加入Hadoop阵营。虽然开源是个大趋势，但ESG中国区总经理王丛也认为用户想要真的去利用Hadoop部署自己的项目，首先需要的就是雇佣大量的人才去学习Hadoop，人才成本比较高。同时我们也可以看到，国内也出现了一些拥有自主知识产权的大数据处理平台。阿里云是其中的佼佼者。

　　阿里云作为阿里巴巴旗下的一员，相比淘宝、支付宝等公司低调许多，但当它所自主创建的分布式计算系统进入人们眼帘时，引起了业内的巨大反响。阿里云所涉及的业务包含了弹性计算、大规模存储、大规模数据处理、搜索、地图、邮箱等等服务。在阿里云平台发展的过程中，研发过程也曾受阻，期间也曾遭到质疑，但不可否认的是，阿里云目前已经拥有了庞大的用户群，并且在打造“以数据为中心的开放云计算服务平台”的道路上越走越顺。

　　阿里云计算有限公司研究员薛贵荣在接受记者采访时表示，目前接入阿里云的注册用户达到170多万，平台租户已经超过了5000家，直接或者间接享受阿里云平台服务的终端用户则可达到上亿的用户。而阿里云最为看重的就是“数据”。结合当前的大数据热潮，阿里云的目的就是提供强大的计算能力，帮助用户去处理新时代的石油——数据。

　　薛贵荣介绍，经过三年的发展，阿里云打造成了完全自主研发的大规模分布式计算系统——飞天。该系统除了MapReduce之外，还支持最广泛的多种编程模型。而且，阿里云的技术人员在这个同一平台之上实现了数据存储、弹性计算、搜索等多项功能。而这种功能，除了阿里云，世界上也只有Google能够做到。而阿里云的战略，我们也可以解读为Amazon+Google并有所超越，用Google模式的技术去做Amazon模式的运营。

　　结合当前的Hadoop热潮，或许有读者会感到困惑，费了半天劲自己研发了一个大数据平台，为何不直接使用Hadoop呢?对此问题，阿里云有自己的看法。阿里云总裁王坚曾经说：“Hadoop在离线大数据处理上很有价值，但它无法解决我们公司公共云计算服务的问题。因为我们已经上线的云服务已远远超出Hadoop的能力，这和公司的定位有关。现在，飞天已经很好地支持了阿里云的各项业务，其中包括大数据处理，在这方面，飞天实际已经超越了Hadoop。”

　　薛贵荣也表示，如果没有一个专业性较强的Hadoop团队去维护，Hadoop的能力上升会受到限制。不管如何，在经历了质疑、阻碍之后，飞天成功了。而之后，飞天将会在阿里云技术团队的维护下，继续扩充自身的计算能力，提供更加广泛的大数据处理服务。

　　谈到当前的大数据问题，薛贵荣总结了以下四个经验与读者进行分享：

　　第一，就是云计算平台的建设。对于大数据而言，后端的处理能力是基础，这也是阿里云最近三年一直致力在做的事情。以搜索业务为例，要想把全世界的万亿级别的网页全部索引一遍，单单依靠一台机器去处理是完全不可能实现的。因此，对于大数据的处理平台来说，如何将几千、几万台的机器做成一个集群是最为重要的事情。这种大规模的分布式计算系统是飞天系统的核心。

　　薛贵荣介绍，飞天从第一行代码开始就是自己写的，目前这个分布式计算模式也在积极与ISV进行合作，以便能够为其他行业的用户提供一种“自主”的大数据处理工具。

　　第二，薛贵荣表示，大数据平台需要有智能化的技术。他以“命题作文”为例，大数据平台不能是根据问题去寻找答案，而是应该智能地向用户提供有价值的信息。以IBM的机器人沃森为例，他能够回答非固定的问题，后端需要的是一个强大的分析系统。目前在人工智能领域的深度学习、自学习以及终生学习等都取得一些突破性的进展，值得去尝试。

　　第三，是成本问题。薛贵荣表示，大数据不能成为一个烧钱的项目，所以对于用户而言，成本很重要，因而在阿里云的集群中全部采用了价格比较低廉的PC服务器。这也是大数据与云计算相呼应的地方。云计算可以为大数据的处理提供一个弹性、低成本的平台，而大数据又促进了云计算的发展。

　　总而言之，对于一个强大的大数据分析平台来讲，智能化、弹性、集群的扩展能力都必不可少。但最基础的部分，底层的IT基础设施必须足够强大，才能够应付上层的这么许多应用。因此包括设备提供商、芯片制造商也都开始在大数据领域发力。

　　IT设备提供商：

　　软硬兼顾，迎合潮流

　　IDC针对大数据所做的一项重要预测——大数据促进了针对软件厂商的并购。就像Derek说的那样：“大数据的出现改变了整个IT产业供应链，进而促生了一个价值数十亿美元的产业。看准这一市场的软件和硬件公司得到风投的支持，正逐渐浮出水面或被大公司收购。”

　　例如，EMC在2010年收购了大数据公司Greenplum，此后，EMC又收购了敏捷软件开发商Pivotal Labs。IBM继2010年收购数据分析公司Netezaa之后，在2012年又接连宣布收购数据分析公司Varicent和Vivisimo。作为正向IT综合解决服务商转型的戴尔，针对大数据的大手笔收购，则是24亿美元高价收购的Quest。此外，还与包括Hadoop在内的众多软件厂商进行了合作，以便更好地提升对各种软件的支持速度。HDS中国区解决方案与专业服务事业部总监陈戈告诉记者，HDS也一直在做大数据方面的探索，例如与SAP的HANA推出联合捆绑的解决方案，以帮助用户进行数据挖掘和分析。

　　可以看出，上述几家传统的“硬件”巨头都没有放过未来的软件机遇。

　　但IDC存储系统项目副总裁Benjamin S. Woo表示：“一直到2015年，软件和服务都将占主导地位，但是针对大数据部署的基础设施技术，将以44%的年复合增长快速发展起来，到2015年这个数字更是会达到61.4%。”上述的数字，估计会令所有的IT基础设施供应商感到欣喜，基础设施市场会伴随着大数据软件市场一起增长。

　　戴尔大企业客户部市场部高级经理詹健表示：“增长份额是否能够达到那么高，还要看市场的大环境。但随着用户对IT部门的投入缩减，以及对效率的更高要求，用户的需求肯定发生了变化。”以戴尔为例，以往非结构化数据对用户没有造成很大的困扰，因此一个基于Windows的NAS服务器就可以满足需求。但近两年来看，这种趋势完全改变了，用户需要一种可以横向扩展的、支持大容量的，以及能够按需增加的针对非结构化数据的存储。因此，戴尔在今年连续发布了基于流动文件系统针对非结构化数据的FS7600，以及FS8600 NAS网关，帮助用户实现可扩展的非结构化数据的存储。而戴尔之前收购的Ocarina和Exanet也开始发力，帮助用户实现可扩展的文件系统和重复数据删除及压缩。另外，詹健表示，对于大数据而言，Scale-out架构的存储系统就可以发挥出优势，在增加容量的同时性能也同步增长，而且完全可以按需扩容。

　　“目前，针对大多数用户而言，最重要的难点还是在大数据的存储和管理。” 华为存储产品线营销工程部部长庞鑫这样认为。陈戈也表示，针对大数据，第一步就是如何存储大量激增的结构化和非结构化数据，继而是如何管理，最后才是大数据的分析。可以看出，大数据对存储领域的影响将会比其他领域更为深远。

　　谈到大数据带来的存储机遇，王丛表示：“大数据会刺激集群NAS的增长。”这个观点在华为的销售记录里得到了印证。华为企业业务IT产品线NAS与数据保护领域总经理经宁表示：“此前都在讨论SAN、NAS、集群NAS分别适合用在什么场合，而大数据概念的出现，感觉豁然开朗。”华为一直很注意如何将垂直行业与存储设备进行有效结合。而作为华为的集群NAS产品——N8000也一直很受多媒体和高性能计算行业的青睐。在与行业用户的接触中，结合大数据概念的出现，华为逐渐找出了规律——集群NAS适合大数据时代的数据存储。

　　集群NAS并不是最近几年才出现的新产品，但是针对大数据，华为对产品进行了不断的改进创新。比如，更低的时延、更高的带宽、更好的容量扩展性等方面都进行了改进。庞鑫表示：“对于很多用户而言，很大的挑战在于大数据的存储和管理。而从目前的发展势头来看，传统的IT基础设施，包括服务器、存储在内，往往还都是纵向扩展。很明显这种架构无法满足海量数据存储、查询和分析的需求。大数据时代理想的架构应该是横向扩展的，可以让用户根据业务发展需要灵活增加节点。”

　　针对上述的需求，华为在今年的云计算大会上，发布了专门针对大数据的MVX创新型解决方案。这款专门针对大数据的解决方案将Scale-out NAS、Scale-out DB和Scale-out Backup进行了融合，将海量数据存储、共享、分析结合为一体，为用户提供非结构化和结构化数据的大数据存储共享平台。

　　EMC之前收购的Isilon在横向扩展NAS方面也取得了很大的进展。EMC宣称已经将Hadoop文件系统集成到Isilon横向扩展NAS中，帮助用户使用一个单一的共享存储资源来进行数据计算和分析。

　　芯片提供商：

　　向高性能、高容量持续发力

　　就像之前所说的那样，大数据影响的不是一两家IT企业，而是整个IT产业链。而作为芯片厂商，他们该如何抓住大数据带来的机遇呢?PMC的Derek表示：“在我们的观察中，有两类对待升级IT基础设施以适应大数据时代需求的方式;一种是大型的传统IT公司，会采用循序渐进的方式对系统进行改进。而我们看到的另一类用户，也就是大多数的互联网公司，对于新技术的采用则保持非常开放的态度。我们看到这些用户对于新技术的渴望。此类用户需要利用新技术在更小的空间内集成更大的存储容量。对此，芯片级解决方案就是最理想且可靠的方案。我们很幸运地能够见证大数据的到来，也因此对PMC主要产品线均能做出调整，以充分利用这一增长机遇。”

　　英特尔(中国)有限公司行业合作与解决方案部中国区总监凌琦在今年的大数据论坛上说：“英特尔也看到了大数据是一个机会。因为所有的分析软件、存储软件都必须要架构在一个硬件平台上。只有硬件平台发展到一定程度，才能提供对大数据的存储、分析，以及价值的挖掘。”

　　英特尔作为IT行业的巨头之一，尤其是芯片领域有着强大的优势，在大数据时代，英特尔会扮演什么角色呢?英特尔亚太研发有限公司总经理、软件与服务事业部中国区总经理何京翔表示：“从英特尔的产品线来讲，正在考虑从CPU、存储、内存等一切的技术出发，构建新一代的系统架构。”另外，英特尔也已经推出了基于至强平台和英特尔发行版的Hadoop大数据处理方案，已经与国内多个行业的用户合作，去解决他们面临的大数据问题。

　　对于致力于存储、光网络和移动网络的PMC公司而言，大数据同样是一个发展自己的绝佳机会。Derek表示：“大数据让市场上对于更低功耗、更小体积和更大存储容量产品的呼声越来越高，这恰恰是硬件芯片方案的机遇。”今年，PMC推出了首款支持PCIe 3.0的片上RAID控制器(RoC)，单芯片支持24个SAS或SATA 6Gb/s端口，而目前市场上同类产品都是8端口的。这也就意味着用户可以直连更多设备而无须借助扩展器，因而节约空间，降低功耗，并大幅提高性能，这对建立密集型存储设备的数据中心来说就是关键技术。

　　另外，Derek也表示，为了提升数据中心的响应时间，闪存产品的普及将会加速。PMC也一直将固态存储理念运用到产品开发当中，并且把PMC在电信行业的领先技术——前向纠错技术也融入到了其SFM-12G SSD控制器当中，从而延长NAND闪存的寿命。

　　在最近举行的第五届加速创新年度峰会上，LSI也打出了“智能芯片、闪存及其他技术让挑战化机遇”的口号。可以看出，以往离终端用户最远的芯片厂商在大数据的浪潮中也不甘拜下风。

　　纵观整个IT产业链可以发现，在软件领域，大数据挖掘和分析占据了主流。传统的IT解决方案提供商不仅通过技术手段对自身的硬件产品进行了不断的更新，更是通过并购的手段收购了一些数据分析软件领域的厂商来扩充自身的大数据实力。而芯片领域的厂商也没有放过在大数据时代发展自身的机会。这一场因大数据带来的IT“信息革命”已经拉开了帷幕，作为用户的我们，只需静静等待大数据为我们的生活带来的便利吧。

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。