钢铁企业MES系统中的数据存储技术及其应用

引言

　　钢铁企业MES系统中的数据是企业生产和管理的核心业务数据。数据量大，实时性强，并发访问频繁，数据吞吐量大，这就需要保证数据存取的高效响应时间、高可靠性，以及系统抵御数据丢失风险的能力和系统的容灾能力。另外，随着企业技改的进行，业务不断扩展，新系统的建设等等，这些变化要求数据存储系统有良好的扩展能力。因此，完全有必要对数据存储方面的有关技术进行探讨、研究。根据钢铁企业的特点，建立一种具有良好扩展性、可用性、可靠性的数据存储模式，以满足钢铁企业MES系统对于数据存储的要求。

　　1、目前主要数据存储技术分析

　　1.1 DAS(直连式存储器)技术

　　直连式存储器，就是将磁盘阵列柜通过SCSI接口和线缆直接连接到服务器上，由于采用了SCSI协议，因此这种应用主要是用于数据库中的数据存储上面。这种连接方式的弊病是由于受SCSI技术的限制，其连接距离有限，而且SCSI共享和仲裁的机制也导致了它的最大传输速度不能超过80 MB/s，所有的这些弊端导致了它只能作为单一节点的存储设备，不适合用在需要大规模高效率的企业存储环境中。尤其不适合钢铁企业MES系统的要求。

　　1.2 NAS(网络附加存储)技术

　　NAS——网络附加存储，即将存储设备连接到现有的网络上，提供数据和文件服务。NAS服务器一般由存储硬件、操作系统以及其上的文件系统等几个部分组成。简单的说，NAS是通过与网络直接连接的磁盘阵列，它具备了磁盘阵列的主要特征：高容量、高效能、高可靠。NAS将存储设备通过标准的网络拓扑结构连接，可以无需服务器直接上网，不依赖通用的操作系统，而是采用一个面向用户设计的、专门用于数据存储的简化操作系统，内置了与网络连接所需的协议，因此使整个系统的管理和设置较为简单。其次NAS是真正即插即用的产品，并且物理位置灵活，可放置在工作组内，也可放在其他地点与网络连接。因此，用户选择NAS解决方案，原因在于NAS价格合理、便于管理、灵活且能实现文件共享。

　　NAS的主要应用场所是在需要对网络用户提供大容量的文件存储的领域里。因此，NAS的解决方案不适合钢铁企业MES系统的数据存储。

　　1.3 SAN(存储区域网)技术

　　SAN——存储区域网络，即通过特定的互连方式连接若干台存储服务器组成一个单独的数据网络，提供企业级的数据存储服务。SAN是一种特殊的高速网络，连接网络服务器和诸如大磁盘阵列或备份磁带库的存储设备，SAN置于LAN之下，而不涉及LAN。利用SAN，不仅可以提供大容量的存储数据，而且地域上可以分散，并缓解了大量数据传输对于局域网的影响。SAN的结构允许任何服务器连接到任何存储阵列，不管数据置放在哪里，服务器都可直接存取所需的数据。

　　SAN具有下面几个特点：首先SAN具有无限的扩展能力，由于SAN采用了网络结构，服务器可以访问存储网络上的任何一个存储设备，因此用户可以自由增加磁盘阵列、带库和服务器等设备，使得整个系统的存储空问和处理能力得以按客户需求不断扩大。另外，SAN具有更高的连接速度和处理能力，SAN采用了为大规模数据传输而专门设计的光纤通道技术。SAN存储结构见图1。

　　从SAN的结构图中看到：多个服务器主机通过光纤接口设备连接到光纤互连设备，而光通道的互连设备又通过光纤与多个光纤接口的磁盘设备或磁带库设备相连。这种存储网络的直接结果：主机系统与存储设备均可双向灵活扩展，整个系统可以形成存储共享的有机整体。同时，光纤通道的访问能力大大高于传统的SCSI技术所提供的通道能力。通过以上对各种数据存储技术的分析、比较，SAN数据存储技术模式更适合钢铁企业MES系统对数据存储系统的要求。

　　2、MES系统数据系统分析

　　2.1 数据存储系统分析

　　2.1.1 海量数据及存储系统扩容要求

　　随着钢铁企业信息化建设的不断深入，应用系统数量不断增加以及应用系统不断扩展。一方面，数据量将急剧增长；另一方面，MES系统数据信息的急剧膨胀，应用也越来越广泛深入，对系统性能和容量的要求也将越来越高。所以，系统应具有良好的可扩充性能，当业务发展需要扩充时，容量和性能均应平滑扩充，最大限度地保证用户的使用需求。

　　2.1.2对数据I/O能力的要求

　　企业MES系统有着访问频度高、访问用户多的特点，所以，必须保证具有高效的数据I/O能力。

　　2.1.3高级的存储服务需求

　　钢铁企业MES系统实时性要求高(7×24 h不间断工作)，随之带来了许多高级的存储服务需求，例如进行数据挖掘、数据实时分析，要求存储系统具有数据快照(Snapshot)功能；数据迁移，要求存储系统具有实时、快速、零风险的数据迁移工具，可以完成旧存储设备到新设备的无缝迁移；数据异地容灾，要求存储系统具有远程同步/异步镜像功能，灵活配置策略的数据复制技术。所以，必须从设备选型和方案设计上保证系统的安全性/高可用性。

　　2.2数据备份系统分析

　　在钢铁企业MES系统中，至关重要的是业务数据。因此，必须建立一套完善的自动备份管理系统，对不断扩大的业务系统和不断增长的数据进行保护，才能最大限度地减少数据丢失造成的损失。要求备份系统能够有一套自动恢复的机制。在系统出现错误时无需过多人工干预就能够恢复系统。

　　对业务数据恢复时间的要求很高，因此备份软件应提供一种机制，使用户在灾难发生后，能在非常短的时间内恢复服务器上的系统软件和数据。支持在文件和数据库正被使用时的备份。钢铁企业MES系统7×24 h不间断工作，在备份期间仍然有文件和数据库被打开使用，系统应该能够备份这些文件和数据库，否则会导致数据不完整。正如前面描述，SAN是先进的存储体系结构。利用SAN技术不但可以释放传统的网络资源(LANfree Backup)，甚至可以释放大量的系统资源(Serverless Backup)，大大提高网络数据的备份速度，提高数据备份的可靠性与可管理性。

　　2.3数据容灾系统分析

　　数据的集中带来了管理的便利，以及充分利用资源，大大减少了成本。然而，数据集中也有潜在的危险。一旦数据中心发生灾难，那将是不可估量的损失。完整的存储解决方案是建立数据容灾、备份中心。为保证数据中心的核心业务和关键数据的7×24 h有效性，必需构建一个安全可靠的灾难备份中心。如上所述，SAN数据存储模式使得通过光纤可以将备份设备的物理连接延伸至几公里甚至几十公里，使异地数据备份及容灾成为可能。

　　维护一个备份数据中心面临的一个最主要的技术挑战是确保备份数据中心与主数据中心的数据能保持同步。最理想的情况下，主数据中心和备份中心的数据应该完全相同。

3、解决方案

　　3.1系统总体结构

　　钢铁企业MES系统对数据中心的系统有很高的要求。根据前面所述，采用SAN数据存储技术来构建系统硬件。采用美国EMC公司硬件存储系统(磁盘阵列)，美国StorageTek公司磁带库，备份管理软件选择EMC NetWorker，复制软件采用FalconStorIPStor。

　　系统中包括EMC CX3-10光纤磁盘存储子系统、光纤交换机及配套的GBIC、光纤主机适配卡、多模光缆。采用EMC CX3-10存储服务器，将MES系统的主要业务数据集中存储到EMC CX3-10中，这样不仅使分布在整个网络上各个地方的数据进行集中存储，保证数据的安全，而且还降低了数据管理的复杂程度。所有的数据集中存储到EMC CX3-10中更易于建立及管理备份系统，例如添加磁带库。系统总体结构见图2。

　　

3.2系统构建

　　3.2.1数据存储系统设计

　　①存储磁盘系统

　　美国EMC公司是数据中心信息系统的基础设施产品和解决方案的主要提供商。EMC的角色是提供构建和管理其不断增长的信息系统的基础设施，使其能灵活地支持企业不断快速增长的业务的需要。

　　针对MES系统数据存储的要求，结合EMC公司产品的技术与特点，提出以下解决方案：

　　配置2台EMC CX3-10存储磁盘阵列，将其中1台存储磁盘阵列移到远程备份中心使用，通过FalconStor FRDS实现数据的远程容灾。此方案包括原系统升级、数据备份、远程容灾方案。

　　EMC CLARiiON磁盘阵列具有独立的存储处理器(Storage Processors)，是建立在硬件RAID技术基础上的创新的存储系统。CX3-10是EMC于2006年发布的最新一代光纤阵列系统。

　　②光纤交换机

　　Brocade210E光纤交换机可显著提高存储企业网络(SAN)的性能和功能。基于第三代BrocadeA-SIC技术的210E集4GB/s光纤通道传输容量及各项全新功能于一身，大大加强了交换机的操作，令企业既可拥有更高的安全性、可用性性能，又能享有集中式的数据管理。

　　Brocade210E交换机专为企业环境设计，并集成了广泛的高可用性硬件及软件功能。Broeade210E尤其适合既希望升级现有环境，又希望不影响商业运作的企业。由于Brocade210E能完全配合原有的交换机使用，因此能支持核心至边缘(Core-to-Edge)体系结构，有助于加强扩展性，提高更高的性能及可用性。

　　③方案技术特点

　　先进的高性能海量存储解决方案，实现数据整合。据此建立起来的信息架构具有开放性、平台无关性、扩充和重构的灵活性。

　　容错存储系统和SAN通道高可用性及负载均衡解决方案RDAC，实现全架构的高可用能力。企业存储网络(ESN)及SAN综合管理解决方案信息的高度整合，配合强大的管理软件，实现信息的集中式全面管理。

　　此方案框架下，支持基于SAN的Lan-free、Serverless的综合快速磁带备份方案。为今后采用基于IP/FC远程数据镜像，跨越整个架构的完全高可用性留有接口，数据保护能力强大。

　　3.2.2数据备份系统设计

　　①备份设备选型

　　针对钢铁企业MES系统的要求，结合StorageTek公司产品的技术与特点，选用StorageTek L40磁带库。

　　多年电子数据的积累，存储量会变得相当可观。这就要求选择磁带库存储容量要适应数据的增长、磁带机的读写速度要满足备份窗口的要求。将磁带库匹配两个LTO磁带机，提供备份服务。采用EMCNetworker备份管理软件控制StorageTek IA0磁带库，实现无人执守网络备份。

　　②备份系统规划

　　在数据中心选择1台PC服务器作为备份服务器，安装EMC NetWorker NetWork Edition for Windows为基本的备份平台。配置磁带库自动加载系统，进行定时的自动备份。

　　配置1台大容量磁带库StorageTek L40，实现数据大容量存储。磁带库配置2个LTO磁带机，40个磁带槽。备份服务器上需要配置1块光纤接口卡(HBA)，用来连接光纤交换机。2个磁带机和机械臂串连起来通过光纤桥接器连接到光纤交换机上。

　　由于业务数据都是存储在数据库中的(Oracle/SQL)，其存储与组织方式有别于普通的文件，因此，对于Oracle/SQL选用EMC NetWorker Module for Oracle/SQL，无论系统结构如何改变，EMC可以对数据库的系统文件及数据进行在线备份，当数据库发生错误时，可以通过备份的数据对其进行恢复。真正的Online实时备份，保持备份数据的完整性。该备份系统支持磁带库或光盘库等高性能存储设备，可做高速备份，可管理大量的数据备份介质。同时EMC软件可以非常好的与Alphastor软件结合，对在线和离线磁带的循环管理和实现磁带库的虚拟共享管理，为产销一体化及MES系统以后不断增长的储存需求和管理提供良好的扩展性。

　　③方案技术特点

• 高效自动化备份机制。
• LAN Free备份。
• 完善的数据灾难恢复功能，提供不同层次的容灾需求。
• 统一集中的备份策略，自动化管理，减少人为错误。
• 介质(磁带)的在线和离线自动跟踪管理。
• 有效的媒体管理。
• 满足系统不断增加的需求。

　　3.2.3数据容灾系统设计

　　①软件选配.

　　选择FalconStor IPStor DiskSafe作为数据远程复制工具。IPStor是一个纯软件解决方案，与存储设备没有关系，不管存储设备是SCSI、还是FC设备，也不管设备是否来自同一厂家、同一品牌。IPStor可以充分利用现有IT架构、现有的存储设备，大大地降低投资成本。

　　另一个问题值得关注的是两地数据通信链路。推荐带宽10 Mb/s以上，当然这取决于主数据中心数据变化程度。IPStor支持IP，也支持FC数据复制。实施中可以根据用户实际情况，作出相应的调整。

　　②容灾方案说明

• 在数据备份中心配置一台高性能的Pc服务器作为IPStor Appliance服务器，安装IPStor Server存储管理软件。IPStor Appliance服务器通过HBA连接到本地光纤存储交换机中。
• 在数据备份中心，从IBM DS4300中分配一定数量磁盘空间给IPStor服务器，作为IPStor所管理的存储池，将存储池划分多个数据卷，数据卷可以重定向应用服务器，分配给IBM小型机使用。
• 在主数据中心的数据服务器上安装IPStor DiskSafe复制软件。IPStor DiskSafe是基于数据块级的主机到IPStor存储池数据远程复制模块(DSR)，安装在应用主机上通过IP/SAN将数据以数据块的方式复制到备份数据中心IPStor所管理的存储池中，结合了IPStor提供的应用感知数据库代理模块，保证传输数据时的数据库一致性。
• 一旦数据需要恢复，可以将数据反同步，从备份数据中心复制到主数据中心。数据服务器安装(mount)IPStor数据卷，从启数据库实例，系统联机。
• 同样，可以将复制过来的数据卷在备份数据中心进行测试、开发等应用，配置过程简单。

　　4、结语

　　在研究分析现行主要数据存储技术的基础上，针对钢铁企业MES系统对数据存储的要求，建立了一个SAN网络数据存储的基本架构，在此基础上，构建了一个适合钢铁企业MES系统要求的集数据存储、数据备份、数据恢复及数据容灾于一身的数据存储系统。该系统满足中远期的数据库增长、数据增长，具备方便灵活的扩充能力。此外，还对系统的中远期目标进行充分的考虑，包括系统的扩容、高速备份、数据迁移、容灾处理等。

(本文不涉密)
责任编辑：

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。