您现在的位置是:首页 > IT基础架构 > 计算存储 >

如何评估大数据应用的存储系统

2013-02-17 16:52:38作者:John Webster 译者:刘前程来源:

摘要分析师John Webster表示,有两种大数据应用程序。一种是用于工业上的大容量应用程序的存储,比如媒体和娱乐、石油和天然气勘探以及生命科学;另一种是分析应用程序。...

  应该怎样评估大数据应用的存储系统?

  分析师John Webster表示,有两种大数据应用程序。一种是用于工业上的大容量应用程序的存储,比如媒体和娱乐、石油和天然气勘探以及生命科学;另一种是分析应用程序。对于大容量应用程序,有两个主要的问题:带宽需要传送通常在这种环境里发现的大文件,还要能够在文件数量增长而又不减慢访问进程的情况下支持大量的文件。带宽问题是由传送单一文件所需的带宽和传送很多文件所需的总带宽来衡量的。对于超大容量的环境(至少在数百TB级别以上),可能有成百上千的文件。在一些文件系统中,随着文件数量的增长,又由于所用的表结构,访问进程会减慢。当选择存储文件系统时,无论是附属SAN存储服务器还是横向扩展NAS服务器,重要的是要知道在不影响性能的情况下,能够支持的文件的最大数量。

  大数据更普遍应用于分析。Hadoop是经常被提及的大数据分析平台。对于这些应用程序,强调的是信息分析的速度和实时性。从存储系统的角度来看,首先关注的应该是一个分析系统用户体验的响应时间。其中响应时间应该是从存储设备开始传送和传送到存储设备的总时间。仅使用存储系统中的缓存的方法不应该再用了;真正的工作是把数据存储到设备和从设备中检索。使用缓存就能完成很多IPOS计算。当然,关于容量和吞吐量(持续带宽)的其它要求也很重要。


(本文不涉密)
责任编辑:

站点信息

  • 运营主体:中国信息化周报
  • 商务合作:赵瑞华 010-88559646
  • 微信公众号:扫描二维码,关注我们