善用分层存储与数据去重实现存储优化

　　从2006年开始，中国太平洋保险(集团)股份有限公司(以下简称太平洋保险)就逐步实施了数据集中，各分公司的业务逐渐向上海总部集中。2009年，太平洋保险在上海建成了全国大集中的数据中心，存储着90%的公司各类数据，此外还建立了一个同城的灾备中心。据太平洋保险系统处负责人王晓慧介绍，目前太平洋保险的数据存储总量为1.5PB～2PB。由于数据量每年都在大幅增长，太平洋保险平均每年新采购的存储容量的增长率都保持在30%以上。

　　持续增加的各种新业务和用户数量让太平洋保险在存储方面面临的压力越来越大。除了单纯的数据量大以外，存储系统中还存在大量的重复数据。如何消除这些重复数据，从而进一步对存储系统进行优化和整合是摆在王晓慧和他的技术团队面前的一个难题。“未来，我们会继续在重复数据删除技术的应用上多下一些功夫，此外还要进行有效的数据挖掘，进一步提高存储资源的利用率。”王晓慧表示。

　　IT基础架构以稳为主

　　作为金融行业的一个重要分支，保险业在IT基础架构的建设方面与银行等金融机构的需求基本相同。王晓慧表示：“保险业更看重IT基础架构的安全性、灵活性和高可用性。与银行通常使用大型机和专有的系统相比，保险业的一个特点是，基本采用开放系统。”

　　目前，在太平洋保险的IT基础架构中，60%以上都是基于x86架构的PC服务器或刀片服务器，只有一些核心的数据库才用到少量的小型机。“能用x86架构服务器解决的问题，我们都会优先选择x86架构的服务器。”王晓慧表示，“我们每年都会采购一些新的x86架构的服务器，用于虚拟化应用。不过，我们并不会盲目追求采用最新的技术。保险业最看重的还是系统的稳定性、安全性。为了更好地实现数据中心的集中化，我们通常会采用高密度的刀片服务器，只在一些特殊的应用场合，才会配置独立的PC服务器。”

　　近两年，随着虚拟化、云计算等技术的兴起，企业的IT基础架构也随之发生了变化。王晓慧介绍说：“我们的数据中心也在朝着虚拟化、云计算这个方向转型。虽然现阶段虚拟化和云计算技术还不是十分成熟，但我们也在进行一些这方面的应用探索。比如，我们在x86架构服务器的虚拟化方面就先走了一步，有了许多成功的应用，但是对小型机和存储的虚拟化应用探索相对滞后。不过，我们一直在跟踪最新的技术发展趋势，会率先在测试和开发平台上尝试采用一些新技术。”

　　存储优化是核心

　　在实现了数据大集中以后，大平洋保险着重加强了对存储系统的优化。目前，太平洋保险存储空间的实际使用率达到了85%～90%，这与很多企业只有不足50%的存储利用率相比，已经是一个非常高的水平。但是，王晓慧对此并不十分满意，因为存储设备中还有大量重复的数据。如果能有效消除这些重复的数据，太平洋保险的存储空间还将得到进一步优化。

　　“在存储资源的利用上，我们事先会做好规划，比如将现有的存储设备按照高端、中端和低端分成类，然后在分层存储理念的指导下，将数据分别存储到最合适的存储介质上。”王晓慧补充说，“近两年来，由于业务发展十分迅速，每一个新业务系统上线时，通常都需要增加一些新的存储资源。经过分析后，我们会提出新的资源容量计划，并以此为依据进行存储升级和扩容。在这个过程中，如果我们能有效利用重复数据删除技术和压缩技术，就能更好地节省存储空间。”

　　由于太平洋保险采用了多个厂商的存储设备，有的存储设备中自带重复数据删除功能，因此这些存储设备的存储空间优化程度就优于那些没有重复数据删除功能的存储设备。王晓慧表示：“未来，我们希望能在整个存储系统中统一使用重复数据删除和压缩技术，而不是只在局部中使用，只有这样才能更好地优化存储空间，更充分地利用存储资源池，提高数据挖掘的效率。”

　　在实施分层存储的过程中，太平洋保险并没有采用现在非常流行的固态硬盘(SSD)。“SSD现在的价格普遍较贵，对于更看重存储系统高性价比的我们来说不太适合。”王晓慧介绍说，“我们在采用NetApp的存储阵列时，就用到了NetApp的分层存储、闪存以及重复数据删除技术，完全可以满足我们对存储性能的需求。我们在邮件系统、影像系统中以及在对大量非结构化数据进行处理时，采用了大量NetApp的存储设备。经过实际测试，从性能、可靠性和整体性价比等多方面来综合考量，NetApp的存储设备更适合我们的需要。”

　　高性价比是优势

　　太平洋保险与NetApp的合作始于四五年前。当时，太平洋保险的数据存储量并不大，只是在一些小型的邮件系统中采用了NetApp的存储阵列，以满足数据并发访问和数据同步更新的需要。王晓慧介绍说：“在选择存储解决方案时，除了关注产品本身的性能、可扩展性、可管理性、易用性等指标以外，我们通常会优先选择经过实践反复验证过的、并且能与现有系统保持良好兼容性的产品，这也有利于系统的平滑升级。由于NetApp的存储阵列在邮件系统中的应用表现优异，我们在后来的影像系统以及其他一些存储应用中也陆续采用了NetApp的存储解决方案。与那些价格较高的光纤存储产品相比，NetApp的存储解决方案胜在具有很高的性价比。”

　　太平洋保险目前已经使用了20多套NetApp的各类存储设备，主要包括FAS3140、FAS3160、FAS3170和V3160、V3170、V6080以及FAS3240A、FAS3270A等。太平洋保险部署在NetApp存储上的应用主要包括以下四大类：第一类，作为VMware服务器虚拟化的存储平台，主要是利用NetApp的MetroCluster构成双活存储架构，消除数据单点故障，提高整个虚拟化平台的高可用性，并且利用SnapMirror技术实现系统远程灾备，同时利用iSCSI/FCP/NFS等协议为虚拟化存储架构提供更好支持;第二类，作为VDI桌面虚拟化的存储平台，利用NetApp的重复数据删除技术，可以节省70%的存储空间，利用NetApp的Flash Cache技术，可以消除虚拟桌面启动、登录和病毒扫描风暴，降低对后端磁盘I/O的请求，从而提高整个虚拟桌面系统的性能;第三类，作为影像、电销、短信、网站、邮件、客服、财务、电子保单、配件、营销管理系统的存储平台，可以实现高性能、高可靠的文件存储，此外利用SnapShot技术还可以实现文件数据的快速备份和恢复，利用灵活卷技术可以实现系统简单快速的部署与调整等;第四类，作为办公系统的存储平台，利用Flash Cache、灵活卷和SnapMirror等技术，可以提高整个办公系统的响应速度，加快系统的部署速度，实现远程灾备。

　　在太平洋保险的影像系统中，文件数量以亿为单位，是真正的海量文件环境。由于越来越多的应用都依赖影像系统中的图片文件，保证影像系统中图片文件的可靠性和可访问性变得越来越重要。此外，对图像文件进行备份和容灾保护也是十分必要的。在影像系统中，NetApp NAS系列产品在性能、易管理性、可靠性和容灾保护等方面的优势得以充分发挥。比如，NetApp NAS利用NetApp FlexVol空间精简分配技术，实现了存储空间的动态精简分配，不仅提升了存储空间的利用率，并且简化了存储空间的管理和分配。NetApp NAS提供了TB级的缓存(最大可达8TB)，可以提升整个文件系统的读写性能，利用NetApp的SnapMirror容灾技术，还可以实现简单、经济、高效的海量数据容灾保护。

　　王晓慧表示：“从过去几年我们使用NetApp存储产品的效果来看，NetApp存储产品管理起来确实十分方便，因为它拥有统一的管理界面或管理模式，管理人员上手比较容易，可以独立进行系统维护。此外，NetApp存储硬件的故障率比较低，其整体稳定性让我们感到满意。”

　　NetApp公司技术顾问冯英杰补充说：“我们与太平洋保险在售前、售后以及技术和服务支持等多个方面进行了紧密协作。一方面，我们可以为太平洋保险提供稳定的高性价比的存储解决方案;另一方面，我们也会将一些经过严格测试的先进技术介绍给太平洋保险。双方在技术方面经常进行沟通和交流。比如，我们最近提供的针对虚拟机的存储解决方案就得到了太平洋保险的充分认可。我们会继续利用自己在统一存储平台上的技术优势，通过集群模式为太平洋保险提供稳定、可靠的支持。”

　　相关链接

　　虚拟化应用刚刚起步

　　随着服务器虚拟化技术在企业中的应用越来越普及，其后端的存储系统在性能、容量以及可扩展性等方面也必须有相应的改进。太平洋保险系统处负责人王晓慧表示，基于上述考虑，我们对多个厂商的存储产品进行了测试，NetApp的FAS系列存储产品与VMware虚拟化平台结合紧密，特别是可以在不同的机柜之间实现相互的备份，方便实现前端虚拟机跨机柜的迁移。

　　NetApp存储产品与VMware vSphere可以构成一个完整的从服务器到存储的完全虚拟化的环境。在服务器虚拟化环境中，NetApp存储产品可以减少50%的存储开销，可以像部署虚拟机一样快速，并内置备份和容灾功能，还可以通过VMware vCenter直接进行存储管理。除了服务器虚拟化以外，太平洋保险在桌面虚拟化方面也进行了有益的尝试。太平洋保险是从2011年下半年开始实施桌面虚拟化项目的，主要是为了解决开发环境中的数据安全问题。太平洋保险将其开发环境变成了一种虚拟桌面的模式，第三方的开发人员不用自带电脑，就可以在其虚拟桌面环境中进行编程和项目开发，这样也便于对开发项目进行统一和集中管理，从而保持数据的统一性和安全性。王晓慧表示：“如果桌面虚拟化技术在开发环境中被证明是可行的和安全的，那么未来我们可能会考虑将此技术应用到所有分公司、营业厅以及对外服务平台中。”

　　由于目前虚拟桌面只用于开发环境，虚拟桌面的数量还不是很多，所以对后台的主机、存储和数据库在性能方面的压力还不是太明显。当初，太平洋保险的虚拟桌面系统后端使用的是另一个厂商的存储产品。但是后来由于数据流量不足等方面的原因，太平洋保险又将NetApp V6080用于虚拟桌面系统。桌面虚拟化应用对存储提出的挑战在于，存储既要具有高性能、高可靠性，保证数据的安全，又要具有低成本，便于管理和使用。NetApp Flash Cache技术可以消除磁盘性能的瓶颈，将存储系统的性能提高71%。NetApp技术顾问冯英杰表示，NetApp V6080内置重复数据删除功能，可以节省60%～70%的存储空间。

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。