IBM首次揭示整合后的重复数据删除技术

IBM在近日的一次发布会上一口气揭开了30多款新品的神秘面纱，与这些新品一起发布的还有IBM新一代企业信息基础架构的理念。在过去2年里，IBM通过收购、研发等方式，在存储产品线上已经投入了20亿美元，而这次大规模发布正是IBM对过去2年IBM的研发、收购的一次集中体现。

企业信息基础架构的重要组成

时隔不到3周的时间，IBM再次举办了一次小型的媒体沟通会，延续IBM企业信息基础架构的话题，IBM进一步向记者介绍了IBM在备份和归档领域推出的一系列虚拟磁带和磁带产品，并展示了收购Diligent后，整合推出的重复数据删除（de-duplication）技术。IBM系统与科技事业部大中华区产品部总经理侯淼表示：本次IBM发布的企业信息基础架构能够帮助客户很好的解决用户对数据存储与备份的新的需求，并且改写存储世界的游戏规则。

“简单来看，这次发布信息基础构架传递五个方面的信息：第一，我们有更加完整而且灵活的法规遵从的解决方案，通过这个解决方案保护数据的实现价值。第一块，不单单是IBM存储部做的工作，而且很多方面是跟软件部结合在一起。第二部分，我们有很多新技术的产生，包括这次我们收购XIV，包括DS5000的发布，所有的这些，都为客户提高自己存储架构方面很好的选择。”侯淼认为。

“第三方面，就是今天我们谈的比较多的就是信息的重复数据删除技术，它在于怎么样使数据使用更加有效率。第四方面谈到加密，第五方面，除了以上技术这些的细节，IBM希望产生很好的生态环境，这个生态环境不单单有我们的客户，还有我们的合作伙伴在一起，提供一揽子的解决方案，从我们的硬件平台、软件平台到服务的完整解决方案。”而收购Diligent公司正是IBM为实现企业信息基础架构的一个重要战略步骤。

包括重复数据删除，本次IBM推出的磁带产品还包括System Storage TS7650G虚拟磁带库引擎，System Storage TS1130企业级磁带驱动器，System Storage TS3500超级磁带库以及System Storage TS2900小型自动磁带装载机。

CIO眼中最关键的存储技术

什么是CIO眼中的最为关键的存储技术？根据InforPro（全球知名调研机构）对全球1000多家企业的IT经理进行调研后的统计数据，重复数据删除（de-duplication）技术大大超过其他的新兴存储技术，以100%的关注度位列企业CIO最为关注的存储技术的榜首。（调研公司列出的技术选项列表中包括了诸多存储行业内的热门技术，包括虚拟带库、IP SAN、广域文件控制、光纤存储网络等等，虚拟带库技术以62%的关注度位列第二）

如果我们把InforPro的统计数据看作用户存储技术关注度的风向标的话，那么无疑重复数据删除技术已经成为目前存储业内的技术焦点。尽管业内有关重复数据删除在存储架构中的哪个部分能够最大程度发挥优势，以及不同厂商的销售策略等问题的争议一直没有停息，但大家普遍都认同这一点：这项技术诱人的投资回报率以及它巨大的市场潜力还未被完全开发出来。

侯淼认为用户目前对重复数据删除的需求体现在如下四个方面：“第一点是备份的速度与性能，用户的数据量越来越大，做一次备份所需要的时间窗口越来越长，用户需要有效的设备和技术来缩减备份的时间。第二是扩展能力，即是否有可能对一个庞大的数据量进行处理的能力；第三是数据一致性；最后客户往往还要求整个系统能够满足7*24小时非中断服务的需求。”

IBM系统与科技事业部大中华区存储产品线经理庞文峥则向大家解释了IBM选择Diligent的主要原因：“第一，它这种在线的重复数据删除技术，确实是非常具有创新性的，采用它的技术，可以充分满足这种中端客户包括企业级客户对于数据中心虚拟磁带库的需求，它可以以更少的容量为用户保存更多的数据。”

“同时这家公司具有非常好的专业团队，而且它的产品其实可以跟IBM产品线有一个完美的契合。这也就是为什么虽然4月份才宣布收购这家公司的产品，但现在我们相应的产品就已经有推出，这个也可以看到，它能够与IBM产品线能够很好地结合在一起，可以非常好的丰富我们的产品架构。”庞文峥补充道。

Diligent Technologies的总部位于马萨诸塞州的Framingham，研发部门设在以色列特拉维夫。在收购前，该公司所拥有的重复数据删除技术一直以来在业内拥有独特的优势和地位，并与Overland、HDS、Sun等诸多IBM的竞争对手都保持有紧密的合作关系，签订有相关的产品OEM协定。

性能优秀的“on-line”处理模式

Diligent的产品包括两个部分，其一是ProtecTier，是其虚拟带库（VTL）软件产品；另一项该公司的旗舰产品则是与该公司虚拟带库产品紧密结合的重复数据删除软件HyperFactor。收购完成后，Diligent所拥有的技术及其员工将划归至IBM系统与科技事业部旗下的IBM系统存储部内。

Diligent的重复数据删除技术采用了“on-line”模式的实现方式，意即在数据备份到磁盘或者磁带的过程中进行冗余数据的删除。相比“post-processing”的处理模式，这种方式更有效率，更方便，实现起来也更为复杂，要求厂家提供该技术的时候有完整的测试，并且算法最好，压缩的同时不影响性能，并且还需要性能较好的硬件平台来保证进行冗余数据删除的同时，不会对前端应用和备份的性能产生影响。

侯淼认为整合Diligent技术后，IBM推出的重复数据删除产品在性能、扩展性、一致性和非中断服务方面都有较完美的回答，这四个方面实际上也是前面提到过的，目前用户对于重复数据删除主要的需求所在：

“性能来讲，TS7650G基本上是两个节点组成一个集群，单节点的吞吐能力是450MB/秒，双节点是900MB/秒的速度，这是在目前整个市场上最快的，这种速度可以满足客户in-line备份删除的需要。第二，扩展能力，我们基本上每个节点可以处理上PB的数据。”

“第三，数据的一致性，我们整个算法有个二进制的校验机制，能够使整个的备份删除的过程，达到一个高的数据一致性，另外非中断，所谓非中断，采用in-line的技术是减少了一个二次处理的需要，同时能够很好地把目前这种技术化放在目前已经成熟的备份解决方案中去。他只是把数据做了一个重复数据删除，数据量从以前的25MB变成1MB，数据量明显减少，后面无论备份到磁带也好，备份到disk也好，整个后面的技术是没有任何改变的，对于客户来说，可以很容易地把重复数据删除备份功能集成到目前已有的成熟的存储解决方案中去。这是目前来讲重复数据删除的优势。”

影响企业备份策略

此外，庞文峥进一步介绍：“作为ProtecTIER的工作原理，我们这次推出相当于虚拟磁带库的引擎，后端可以接各种的磁盘阵列，包括IBM可以接最高的DS8000，可以接XIV，也可以接低端的DS4000盘阵，甚至已有的光纤盘阵都可以提供支持，它通过光纤可以接到光纤交换机上，当它做完冗余数据删除以后，其实都会把数据放在现有的磁盘上。”

尽管在IBM之前，已经有NetApp能够提供主存储系统上的重复数据删除功能，但是，将重复数据删除技术用于主存储系统上始终是一件相当有风险的事情。尽管如此，ProtecTIER作为虚拟磁带库引擎，能够将进行冗余删除后的备份数据保存到后端任何备份介质中，无论是磁盘还是磁带产品。

此外，以往由于做一次全备份往往需要耗费用户大量的备份的时间和存储空间，因此往往采用增量备份与全备份相结合的备份策略进行数据备份。对于这种传统的备份策略，侯淼认为：“实际上我们把增量备份分两块来看，一块看在线交易处理，增量备份确实很有帮助，而且数据量应该是不大，像银行、包括电信的交易。”

“但是还有非结构化的数据，最明显E-mail，别人给我一个电子邮件，我转发了，他备份的时候后不是增量，他所有邮件的附件都要重新来一遍。这类型非结构化数据在未来的增长会很快，增量备份的方法用在非结构化数据就不是特别有效了。”

侯淼认为，对于非结构化数据，进行一次增量备份同样需要耗费大量的时间，而且增量备份在恢复的时候需要追溯以前的数据，因此恢复速度更慢，也更加容易出错。重复数据删除可以大幅度的缩减企业进行一次备份所需要的时间窗口，有了重复数据删除技术，企业可以衡量全备份的时间成本与存储容量成本，更多的选择全备份的备份策略。

“全备份和增量备份会有一个折中方案，这就看你的起点，以前来讲增量是按一个月来看的，每个月的第一天作全量备份，每月每月做增量备份，那你要想恢复的时候，你不得不追溯到月头。还有以一种方法是以每周为单位，每周一去做全量备份，每周每周去做增量，在中间发现问题的时候，追溯的时间段比较短，所以当你有一个技术能够满足快速备份的话，可以把增量和全备份的时间做一个改变。”

完善的备份归档产品线

在IBM勾画的整个企业信息基础架构的蓝图内，在备份领域，重复数据删除技术只是IBM本次发布的产品之一，除此之外，IBM还有一系列磁带产品的发布，包括System Storage TS7650G虚拟磁带库引擎，System Storage TS1130企业级磁带驱动器，System Storage TS3500超级磁带库以及System Storage TS2900小型自动磁带装载机。

其中TS3500是一款高密度的磁带柜，磁带密度相对于以前的产品整整增加了三倍，在同样的机柜里面，以前只能存储400多块磁带，现在可以存储1300多块磁带，而整个磁带柜的容量、体积没有任何变化，高密度的实现主要通过提高单位空间内的槽位密度来实现。

TS1130是TS1120产品的升级版，是一款1TB磁带机，相对于现有的LTO技术，它的容量更大，速度也更快，真正达到企业级磁带机的体系，它的容量非压缩数据存储量可以达到1个TB，支持3：1的压缩，压缩以后，容量可以达到3个TB，传输速度可以达到350MB/s，接近于光纤的峰值传输速度，像加密技术、WORM技术在TS1130里面都可以得到很好的应用。

同时，TS1130相对于LTO来说，支持长短带的技术，亦即在同一个磁带驱动器，同一个磁带的使用环境下，可以格式化出两种不同的容量大小，可以格式化成1TB的容量，这样可以存储用户更多的数据，同时可以格式化成现在是128GB的容量，它容量更小，但是可以支持更快的数据访问。这样用户只需要买一种磁带机，就可以满足用户既可以有快速查询的操作，也可以满足用户大批量的访问操作。

除了企业级磁带技术之外，IBM针对中小企业也专门推出了TS2900新的磁带自动加载器，只有1U高，可以非常方便地放在工业机柜里面，最大支持9个槽位，提供更大的高密度的槽位，满足用户更多的备份要求。条码阅读器以及磁带加密技术均作为标准功能提供给中小企业用户，非常方便中小企业构建数据保护与备份的完整解决方案。

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。