解读大数据的存储

　　大数据是时下最热门的企业IT话题，那么大数据对存储有什么要求呢?

　　为了解决这个问题，我们首先来分析一下大数据的特点。

　　Gartner对大数据下了一个简洁的定义：“大数据是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。”

　　所以，大数据既包含结构化数据也包括非结构化数据，而且是以数量巨大、变化率高的形式存在。

　　大数据如此热门的主要原因是因为它能提供可行性的见解。企业通常使用分析应用来提取大数据里的本来难以挖掘的信息，而这是用现有的技术和方法不可能办到的。

　　像石化工业和金融服务行业已经使用数据仓库技术来处理大量的数据几十年了。但这并不是指现在所谓的大数据。

　　主要区别在于，现在的大数据包括非结构化数据，并且可以从各种数据中提取有用的信息，比如邮件、日志文件、社交多媒体、商业交易及其他数据。

　　比如，保存在数据库里的一家连锁零售商店的某商品的销售图表数据。对这些数据的获取就不是大数据范畴的问题。

　　但是如果企业需要把某商品的销售量和特定时刻的天气状况，或者不同的消费者信息联系起来，并且要求能快速获取这些信息，这需要密集处理，这就是大数据技术的一种应用。

　　大数据存储和传统的数据存储相比有什么不同?

　　大数据应用的一个主要特点是实时性或者近实时性。比如，如果警察拦住一辆车，想得到这辆车的相关信息，那么这对时间的要求是越快越好。

　　类似的，一个金融类的应用，能为业务员从数量巨大种类繁多的数据里快速挖掘出相关信息，能帮助他们领先于竞争对手做出交易的决定。

　　数据通常以每年增长50%的速度快速激增，尤其是非结构化数据。随着科技的进步，有越来越多的传感器采集数据、移动设备、社交多媒体等等，所以数据只可能继续增长。

　　总而言之，大数据需要非常高性能、高吞吐率、大容量的基础设备。

　　大数据存储选择

　　选择存储大数据方法时需要考虑到应用特点和使用模式。

　　在传统的数据仓库上进行对相似数据集的挖掘操作，一般都在一个单独的存储设备上进行。现在这种方法对处理能力和存储容量的可扩展性来说已经不是最优的选择了。

　　相反，一个web分析工作负载要求能在低延迟的情况下访问大量的小文件，使用大量的电脑或者存储单元，性能和容量都可以在一定条件下进行扩展。这种存储方式更适合大数据。

　　这里提到了多种存储方法。

　　首先是横向扩展(scale-out)NAS。

　　横向扩展NAS是文件级别的访问存储器，它是由多个连接在一起的存储节点构成，而且存储容量和处理能力会随着节点的增加而提升。同时，支持数十亿文件和PB级存储容量的并行文件系统允许把不同位置的大量数据连接起来。

　　横向扩展NAS产品主要包括：EMC Isilon及其OneFS分布式文件系统;HDS的 Cloudera Hadoop Distribution Cluster 基准体系架构;Data Direct Networks hScaler Hadoop NAS平台;IBM的SONAS;HP的X9000;还有DATA Ontap横向扩展操作系统版本已经到8.2的NetApp。

　　另外一个适合处理大量数据的技术是对象存储。对象存储有可能替代传统的树形文件系统。对象存储支持平行的数据结构，所有文件都有唯一的ID标识，类似于网上的DNS系统。在平行的文件系统结构中比在垂直的文件系统结构中处理大量的对象要简单的多。

　　对象存储产品越来越多的支持大数据分析环境，其产品主要有Scality的RING体系结构，Dell 的DX，还有EMC的Atmos平台。

　　Hyperscale、大数据和ViPR

　　一个被称作hyperscale的计算机/存储体系结构凭借其被诸如Facebook和Google等公司的使用，而日益突显。Hyperscale使用许多相对简单常见的基于硬件的直连式存储计算机节点，来提高大数据分析环境的性能，比如Hadoop。

　　和传统的企业级计算和存储构架不同，hyperscale在完整的计算机/DAS节点上进行冗余备份。如果一部分节点遇到故障，失败的任务将会交给另一个备份节点。整个出故障的单元都会被替换。

　　这个方法适合非常大规模数据的用户，比如前面提到的一些网络先驱者。

　　但是这也不一定，因为一些有实力的供应商已经意识到hyperscale体系结构给他们带来的机会和威胁，同时随着数据的增长，大数据种类也纷繁复杂。

　　这似乎就是EMC推出其软件定义存储ViPR的原因了。今年EMC World 公布，ViPR在现有的存储设备上放置了一个横向扩展对象，能将这些存储设备——EMC或者其它供应商的存储阵列、DAS和商品存储——管理起来作为一个单独的存储池。另外，ViPR的存储容量可以通过API连接到Hadoop或者其它大数据分析引擎，使数据可以在数据存储的位置进行分析查询。

　　Nutanix被称为高度融合的存储和计算节点的出现也反应了这个趋势。

　　这个初创公司将计算和存储系统合并到了一起，并出售其支持集群的2U系统，该系统为Hadoop用户提供hyperscale节点，每个节点有四个CPU插槽。使用SSD和旋转介质，提供数据分层和压缩，能达到宣称的2GBps的吞吐量。

(本文不涉密)
责任编辑：

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。