云散之后都是赤裸裸的数据 你会用吗？

　　云计算大潮有没有退去暂时谁也说不好，而就著名研究机构Gartner的最新调查报告显示，云计算领域还将保持增长趋势，而增长的幅度将会放缓，毕竟云计算已经风风火火了不少时间。而今，和云计算同样没有明确定义的一个新概念越来越流行——“大数据”。而且大数据已经开始改变了IT格局，根据Gartner的数据显示，仅2012年大数据就带动全球280亿美元的IT支出，2013年带动的IT支出规模可望进一步增至340亿美元。而放眼目前IT巨头多是出手延伸整个产业链，很少有只撰于产业链中某一环节的企业，但是现在却有这样一个公司只专注大数据，让我们走近台湾精诚集团云中心，走近Big Data事业部即Etu(“知意图”公司)负责人蒋居裕先生。

　　▲左侧蒋居裕先生 右侧IT168信息化与云计算频道编辑申安安

　　回头看 谁走在大数据的前面?

　　大数据论起源肯定是美国，也流行于美国，并不是因为美国的技术有多么发达，而是因为他们有用户量巨大的互联网服务基础。社交网络、物联网、电子商务起步早，移动设备普及度高等“先天”因素也让他们的数据不再“单纯”，而且单纯的数据格式也无法满足这些业务需要。结构化数据、半结构化数据和非结构化数据的三种类型中，结构化数据目前的传统RDBMS的技术(关系型数据库管理系统)相对于其他技术来说成熟而且性能优势明显，而对于其他两种形式的数据，目前解决方案仍然处于成长甚至是刚刚起步阶段。

　　对于大数据的产生，可以说毫无疑问的要归功于互联网公司，但实际上并不是只有互联网公司才用到大数据，当下的银行、保险类金融业企业、电信运营商、某些制造业领域的企业、医疗行业等都是大数据的真实而直接的用户。现在互联网、电子商务、快消业的企业因为数据量增长最为迅速，而使得他们的需求走在了大数据的最前端。蒋居裕先生认为这些公司或多或少都有自己的解决方案和技术，而从美国的经验来看，大数据处理平台中一个主流处理技术Hadoop，虽然不是唯一的解决方案，却成为主要的解决方案之一，尤其是2006年被开源以后，近6、7年的发展日趋稳定。

　　破解大数据误区 Etu提出一体化解决方案

　　尽管有人说大数据和云计算是截然不同的两个概念，但是不可否认的是二者有着很多交集，甚至是“大数据离不开云”的意味。从硬件层上说分布式存储、虚拟化服务器的弹性支持等都是云计算的重要特性，但也正因如此很多人产生了一些误区。

　　·误区一、“大数据就是存储”，一种新的存储技术。

　　而实际上这种“误区”只是认识的片面，主要在于大数据的存储是基础，而更重要的是处理工作，毕竟存储是为进一步处理做准备。所以从这个角度来看，一般人的理解有些错误。所以请记住大数据一定是存储跟计算同时要发生的。

　　误区二、行业受众小，并非广泛适用。

　　虽然大数据起源互联网，但因为异构数据的存在，很多传统行业其实需求更加迫切。像图形、图像识别等领域、自动控制领域很多场景都需要大数据的帮助。

　　当然，还有人会认为结构化数据处理起来相对容易，用不到“大数据”的概念，或者大数据处理可能只是BI，为企业提供商业智能。蒋居裕先生认为除了BI之外，有时候需要做文字或者图形上的搜索;同样，还有一些来自改善用户体验使用的，比如运营商、金融保险类公司。在蒋居裕先生的观点中，对数据进行了一个分层描述：

　　顶层：Hot Data，这是比较热的数据，它的实时需求最高，在查询之后几秒钟就要得到结果;

　　中层：Warm Data，有一点温度的，它需要随时查询，它处理的时候不需要几秒钟得到结果;

　　底层：Cold Data，这类数据最大的特性就是看起来我不会再用到它，只需要从起来就可以了。

　　而这三层数据中，最容易做的其实就是底层冷数据Cold Data，只要条件允许，这部分数据可以一直沉淀在磁盘上。最直接的入手点就是顶层，大量数据挖掘、数据仓储的案例和解决方案让基于关系型的Hot Data容易被应用。当然完成这所有三层数据的处理工作，已经说明这家公司有一套数据生命周期管理。但重点还是会回到数据本身上，这些所有的数据可以做什么?保存这么数据到底有多大价值?也许这个问题在于是如何找出你跟同行之间不同、如何提供与竞争对手不同服务，让用户体验与同行之间的出发点上。而目前市场来看虽然很多企业有这个需求，但是大部分大数据解决方案都是以项目形式体现，没有一个产品化或者针对某个行业而推出的标准产品推出，这让更多的用户很难去说清楚自己的需求，也对技术实现本身产生了巨大的阻碍，蒋居裕先生认为这样的现状催生了我们推出大数据一体机Etu Appliance的原因之一。Etu其实也是希望通过这样的方式将软/硬件一体的方式交付给用户，用产品化的形式推动大数据市场。

　　功不可没的Hadoop是把双刃剑 压力变动力

　　·双刃之一：内部人才与技术的压力

　　其实从Hadoop宣布开源开始，自身的不断完善，虽然经历了多年的发展，但是人才压力技术压力还是存在的，很明显的一个例子就是目前老牌互联网公司都拥有这样的一群人，但是他们仍然以内部项目的形式服务于公司，很少或者说是并没有很大量的将这样的人才放到市场上。但是蒋居裕先生认为Etu目前的队形中有一些相对成功的人才储备，对Hadoop的理解和运用足够，但是同样不可否认的是，目前来看这样的队伍需要以产品和方案为主要任务的队形。所以Etu将会以垂直行业作为服务划分的范围，及化解了服务压力，又能够给客户提供本土的技术支持服务。
(本文不涉密)
责任编辑：

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。