James R Giles：驾驭大数据，探究新机会

　　IBM 2013技术峰会(IBM Tech Summit 2013)IBM于2013年7月11日-12日在京举行。大会以“见智，见未来”为主题，集前沿信息技术、前端理念于一体，吸引数千技术人和行业专家参会，聚焦移动应用、大数据、云计算、DevOps软件持续交付、应用整合、社交商务、专家集成系统等炙手可热的趋势主题，是目前IBM在国内举行的规模最大、涉猎领域最广泛、参加人数最多的高端技术盛会。本次大会的演讲嘉宾阵容强大，被誉为“大数据时代的预言家”的《大数据时代》作者维克托•迈尔—舍恩伯格博士现身现场，以及数十位来自IBM的院士、杰出工程师、相关领域的全球首席技术官和首席架构师。这些技术领袖和科学家将与IBM在国内外众多企业用户和行业专家一起为现场的技术达人们带来一系列的精彩分享：包括上百场技术主题演讲、28场分论坛、22场动手实验室和80个未来产品的现场演示。

　　IBM杰出工程师、InfoSphere Stream高级开发经理James R Giles在主题演讲中表示，IBM意识到大数据是一个非常关键的领域，就像过去很多重要的年代一样，主机时代、大型机时代、WebSphere，现在是一个新纪元，就是大数据纪元。

　　以下是演讲节选：

　　James Giles：移动、社交、感应器、互联网等等，之前我们已经听说到数据急剧增加，我们也听说到数据的重要性，对于企业、对于未来来说非常重要。我们看待大数据的一种方式，数据本身是下一种的自然资源，我们自然资源有什么用呢?第一，可以开掘它、转变它、销售它，有的时候甚至要保护它，就像自然资源一样，我们也需要做同样的事情来对待大数据。对于大数据来说非常有趣的是，它不是有限的，而是无限的，数据会不断增加，越来越多。现在我们是淹没在数据中，我们怎么样才能够将我们获得洞察的需求和获得价值平衡起来，和大的数据量平和起来。

　　IBM意识到大数据是一个非常关键的领域，就像过去很多重要的年代一样，主机时代、大型机时代、WebSphere，现在是一个新纪元，就是大数据纪元。刚才谈了自然资源，谈到大数据就像自然资源一样，也谈到现在数据的规模，IBM现在正在建立一个完整的、一整套的能够解决这个挑战的解决方案，既有系统，也有基础架构、服务、云以及中间件，也有数据仓库技术的拓展，另外我们也有一些新的像Hadoop技术，以及出现的一些新技术，像流计算等等。我们怎么样对这些大量数据进行处理呢?我们有分析功能，这些都是我们可以从数据当中发掘价值的一种方式。

　　我们在和客户合作的时候意识到一点，数据是有各种类型的，有些数据可能是移动数据，有些数据是静态数据，数据有各种各样类型，有结构性、非结构性数据，我们就需要有不同的方式来处理这些数据。有的时候我们可能需要对这个数据进行即时的反馈，我们需要快速对于客户的反馈进行回应，有些数据可能是静态的数据，我们不用担心它的结构和管理的问题，因为这些数据只是一种静态的数据。但有的时候我们可能需要各种形态的数据，需要使得数据随时可以获得。有了这样一些功能的时候，人们现在开始越来越依赖的一件事情是，要能够去管理这些数据，能够理解，能够从不同的数据源，不同类型的分析中去理解，我们怎么样得出结论，怎么样做出决策，所以管理、安全、商业的持续性都是这些企业现在所需要的，他们需要拥抱新的大数据时代。

　　下面谈几个客户案例，我们有一个美国的客户叫Constant Contact这个客户主要是帮助客户进行电子邮件的营销。因为你发邮件的时间非常重要，如果你发邮件别人接到的时候正好是回家的时候，他就不会看这个邮件。这家公司就是帮助客户确定对于每一个个人在发邮件最佳的时刻是什么，而且不仅仅是读邮件，而且是能够回应你这个邮件的时间是什么。它就找IBM，跟我们进行合作，我们帮助他们进行分析性能的提高，提高了40分。他们需要去分析客户的电子邮件的分析，这样就知道每一个客户最佳的发送时间是什么，我们得做几件事情，把分析性能提高了，分析时间从几个小时缩减为几秒钟。另外，因为他们能够更多地分析这个数据，更加深刻地分析这些数据，他们就可以更好地对于每一个客户进行优化，所以很多客户电子邮件营销活动有效性就提高了15-25%，这也很快变成了一些底线的收入，这是一个非常好的例子，说明使用大数据技术能够使得你更好地了解你的客户，更好地和客户进行互动。

　　之前我也说过BigInsight，这是基于Hadoop企业级的解决方案，它是一个大型的MapReduce编程工具，这里可以看到所有Hadoop元素，我们可以做很多重要的事情，使得企业更好地利用大数据，我们有GPFS文件系统，有高级的分析方法，还有更加容易管理数据的工具，这些都是在BigInsight里面，这些都是IBM可以带给我们客户的。

　　再举一个例子，这是亚太地区的一个企业，是一家远程通讯公司，这家公司需要一些具体的细节的数据，而且数据的数量在急剧增加，他们使用传统技术的时候，他们把数据输入到数据仓库的时候进行处理，然后获得结果，但是他们却没有办法在大数据时代进行传统的操作，所以IBM公司帮助他们和我们的数据仓库结合起来，给他们做流计算，同时在数据的收集和数据的转换过程中急剧加速了数据的处理。他们发现结果是数据合并的时间缩短了91%，数据加载时间缩短了92%，获得结果的时间从12个小时降低到1秒钟。带来其它的利益，不仅仅从IT基础架构方面帮助了他们，由于把12个小时变成了1秒钟，所以他们现在可以提供一些实时的服务。除此之外他们还看到存储需求降低了93%，他们使用服务器的数量减少了85%，所以这确实是非常伟大的节约。

　　下面谈一下流计算，流计算是一种新的IBM所创造出的技术，来帮助我们能够做到这一点。把它和我们的数据仓库结合起来，是一种智能的方式，让我们获得更好的结果。所以我们有InfoSphere Streams产品，它会在一个集群的环境中做很多事情，可以过滤、分析数据，可以对数据进行采样，都是实时进行的。另外还有一点非常重要的，在有很多类型数据源的时候，可能需要把它们放在上下文的环境中，比如分析你的电子邮件，CLM的、网络的数据来源，你需要它变成一种可以理解的数据，所以我们现在是可以将这些数据源结合起来，然后帮助我们的客户更好地理解这些数据。因此，我们在IBM发现了五种高价值的大数据的用户案例，一是大数据用来探究查找可视化和了解所有的大数据，提升业务知识。二是实现增强型客户视图。三是安全性、智能的扩展、运营的分析、数据仓库的扩充等等，今天待会儿我会邀请大家去分会场了解大数据的用例，大数据是一个征程，希望大家从新的自然资源中获利，IBM在这里是帮助大家的，我们有很多资源，你们今天会了解到很多资源，我们有BigData大学等等，还有一些书籍和培训会等等，我们会帮助大家走上这个征程。谢谢大家。

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。