您现在的位置是:首页 > IT基础架构 > 计算存储 >
解释中心NAS架构存储系统整合技术研究
2012-06-05 18:31:00作者:钟吉太 付喜春 李家俊 来源:
摘要某公司研究所解释中心有3套NAS架构存储系统。容量分别是1.5TB、4TB和30TB。...
引言
存储市场近几年来的发展十分迅猛,随着技术发展,网络化存储的概念被提出并得到了迅速发展。从架构上来分,今天的网络化存储系统主要包括SAN(Storage Area Network,存储区域网)和NAS(Network Attached Storage,网络附加存储)两大类。NAS存储系统是直接挂在网上的专用文件服务器,具备快速、简单、可靠的性能,是一种将分布、独立的数据整合为大型、集中化管理的数据中心,以便于对不同主机和应用服务器进行访问的技术。NAS为访问和共享大量文件系统数据的企业环境提供了一个高效、性能价格比优异的解决方案。数据的整合减少了管理需求和开销,而集中化的网络文件服务器和存储环境——包括硬件和软件则确保了可靠的数据访问和数据的高可用性。可以说,NAS提供了一个强有力的综合机制,NAS技术能够满足特定的用户需求。
某公司研究所解释中心在不同时期引进了3套NAS架构存储系统,分别是SIS—NAS01、SUNNAS5310、SUN NAS5320,分别连接到3台Cisco Catalyst2950网络交换机上。另外研究所还有解释工作站80套,主要包括SUN、Dell、HP系列等工作站。这些解释工作站通过网络交换机互相连接,再通过光纤互联,实现全部解释工作站和NAS存储之间网络互联。通过对解释中心3套NAS架构存储系统进行整合,实现解释工作站与NAS存储系统资源共享。
1 解释中心NAS架构存储系统集成技术
1.1 SIS—NAS01存储系统硬件结构及其集成技术
SIS—NAS01存储系统是Rackable PC—Cluster集群计算机的一个存储节点,2005年引进。NAS机头包括两个主频2.8GHz的CPU,内存4GB,2个10/100/1000自适应的RJ45口与Cisco Catalyst2950网络交换机实现网络互联和通讯。存储系统由7块250GB的SATA磁盘组成,存储容量1.5TB。通过系统配置、网络配置,定义SIS—NAS01存储系统的IP地址:192.10.200.106,创建/shares一个文件系统,为解释生产提供存储空间。
1.2 SUN NAS5310存储系统硬件结构及其集成技术
SUN NAS5310存储系统是美国SUN公司的产品,2006年引进。包括1个Sun StorEdge 5310 NASAppliance(即NAS机头,内含1个主频3.06GHz、内存4GB的CPU),1个Sun StorEdge 5300 RAID EU控制器单元(内含双冗余控制器,每个控制器lGB缓存)和1个Sun StorEdge 5300 EU扩展单元,内置28块146GB的光纤磁盘,存储容量4TB。2个10/100/1000自适应的RJ45口与Cisco Catalyst2950网络交换机实现网络互联。通过系统配置、网络配置,定义SUN NAS5310存储系统的IP地址:192.10.200.190,创建了/nasdatal、/nasdata2、/nasdata3、/nasdata4四个文件系统,为解释科研生产提供存储空间。
1.3 SUN NAS5320存储系统硬件结构及其集成技术
SUN NAS5320存储系统是美国SUN公司的产品,2008年引进。包括1台Sun StorEdge 5320 NASAppliance(即NAS机头,内含1个主频2.66GHz、内存4GB的CPU),1台Sun StorEdge 5300 RAID EU控制器单元(内含双冗余控制器,每个控制器1GB缓存)和6台Sun StorEdge 5300 EU扩展单元,内置104块300GB的光纤磁盘,存储容量30TB。2个10/100/1000自适应的RJ45口与Cisco Catalyst2950网络交换机实现网络互联。通过系统配置、网络配置,定义SUN NAS5320存储系统的IP地址:192.10.200.240,创建了/t00voll、/t0l voll、/t02vo10、/t02voll、/t03vo10等11个文件系统,为解释科研生产提供存储空间。
2 解释中心工作站和NAS存储系统网络升级技术
解释中心80套工作站和3套NAS存储系统分别连接在3台Cisco Catalyst2950千兆网络交换机上。通过网络交换机升级,把3台Cisco Catalyst2950网络交换机统一连接到一台FoundryFGS648P万兆网络交换机上,使解释中心的核心网络系统由千兆升级到万兆。通过系统配置和程序开发,实现解释中心工作站和NAS存储系统网络互联,如图1所示。
图1 解释中心工作站和NAS存储系统整合拓扑图
3解释中心NAS存储系统整合技术
NAS系统是直接挂在网上的专用文件服务器,具备快速、简单、可靠的性能,支持UNIX和linux多种网络环境。NAS系统实现了两个突破:理念上的突破——把存储器直接接到网络上,不再挂在服务器后端,避免了给服务器增加负担;技术上的突破一百过专用软件减少磁头臂机械移动的次数,克服由此造成的延时。
NAS为那些访问和共享大量文件系统数据的企业环境提供了一个高效、性能价格比优异的解决方案。从而达到减少系统管理成本,提高数据备份和恢复功能的目的。在解释中心的每套工作站上,
编制一个SHELL程序zm,把3套NAS存储系统(35.5TB)共16个文件系统集中整合到一套工作站上使其共享,成为统一的存储池。用户可以在每套解释工作站上对整合后的NAS存储进行在线数据存取,相当于本地一套完整的存储系统。例如:在解释工作站B2500A上执行zm程序,显示结果如下:
从以上结果可以看出,通过在解释工作站上执行程序珊,data01,data02,data03,...data16这16个文件系统整合到该工作站上,对用户来说这3套NAS存储系统形成统一的存储池。工作站上SCSI磁盘的数据(如/home、/homel等)与NAS存储系统的数据(如/data01、/data02等)可以相互传输、调用。这样,把解释工作站分散的SCSI存储数据整合到NAS存储系统中,使解释工作站的地震资料数据实现资源共享。
4 解释工作站和NAS存储系统资源共享技术
在解释中心1套工作站SUN V890上开发“NAS存储系统数据共享程序zmall”,通过网络配置和程序开发,把NAS存储系统自动挂接到每套解释工作站上,解释成果关键数据可以定期备份到NAS存储系统上,从而实现80套解释工作站能够共享NAS存储系统资源。每套解释工作站的数据都能在NAS存储系统上高速加载、读写、调用和远程备份,充分实现地震资料解释系统存储资源共享。执行“NAS存储系统数据共享程序zmall”,程序主菜单显示如下:
#zmall
其中序号1—80对应的是每一套解释工作站,只要在“Please Input Choice”选项输入相应的序号,序号所对应的解释工作站就与NAS存储系统共享。如输入“1”,对应的机器B2000A就与NAS存储系统数据共享,显示结果如下:
从以上结果可以看出,data01到data16这16个文件系统与B2000A解释工作站数据共享,B2000A上的数据可以任意存取NAS存储系统上,实现了解释工作站与NAS存储系统的数据共享。通过“NAS存储系统数据共享程序”,可以统一管理解释中心80套解释工作站共享NAS存储系统,大大缩短了解释科研生产周期。整合后的NAS存储系统,具有连接方便,扩展性能好,I/O读写速度快等特点,并且支持Solaris、Linux等多种操作系统平台,可同时共享NAS存储资源,数据安全可靠。
通过NAS存储系统数据共享技术可以实现以下功能:
(1)提高解释成果数据、地震资料反演数据备份和加载的效率
以往解释数据都是独立地存储在每套解释工作站的SCSI磁盘上,数据分散,易损坏和丢失。数据一旦丢失,将会造成无法弥补的损失,影响解释进度和工期,因此,解释数据必须经常备份。
以往解释成果数据和地震资料反演数据的备份使用8mm磁带,一盘磁带正常格式只能备份不超过5GB大小的文件。一个三维解释工区按300km2计算,包括三维3DV数据体、解释层位数据、断层数据、oracle数据库等,大约有20GB左右,需要至少4盘磁带。经实际测算,一盘磁带备份5GB大约需要70分钟。4盘磁带(20GB)大约需要280分钟。此外,磁带受环境和温、湿度等影响,容易损坏,安全性差,造成意外的损失。
现在的解释成果和地震资料反演数据备份,只需执行“NAS存储系统数据共享程序zmall”,把NAS存储系统与需要备份数据的解释工作站共享,需备份的数据可直接存取到NAS存储系统上。经实际测算,同样备份20GB大小的数据大约需36分钟,效率提高7倍以上。另外,备份到NAS存储系统的解释数据可供以后其它相关联的区块使用,避免了数据二次加载,可以节省大量数据拷贝时间,而且解释数据能够达到随时备份和随时加载的效果,数据安全可靠。目前,已有齐家(200km2)、临江西深浅层(600km2)、塔木察格(300km2)、海拉尔连片(1000kin2)、方正(500km2)、尚家(320km2)、喇嘛甸(100kin2)等20多个工区的解释成果数据和地震资料反演数据备份到NAS存储系统。
(2)大数据量的叠前弹性反演运算可以在解释工作站上完成
叠前弹性反演运算的数据量非常大,一个320km2的三维解释工区,叠前反演的数据量大约需要1TB左右的磁盘空间。对于如此大的数据量,在解释工作站的SCSI磁盘上是根本做不到的,因此,必须通过NAS存储系统才能完成。执行“NAS存储系统数据共享程序zmaU”程序,把运行叠前弹性反演运算的解释工作站与NAS存储系统共享,可以满足叠前弹性反演所需的空间和数据传输的速度要求,使原来无法完成的的大数据量叠前弹性反演在解释工作站上能够直接运算和存储。目前,已经做了两个地震资料解释工区的叠前弹性反演,杏西三维工区,面积312km2,乌东三维工区,面积340km2。正在做新疆三维解释工区叠前弹性反演。
5 结束语
通过解释中心NAS存储系统整合,使解释工作站与NAS存储系统资源共享,实现了解释数据集中存储和调用。解释成果数据备份、反演数据备份和加载效率提高7倍以上,同时,使大数据量的叠前弹性反演运算在解释工作站上得以实现。有效提高了解释生产效率,缩短了解释周期。
(本文不涉密)
责任编辑:
上一篇:四个典型应用 彰显NAS巨大价值