重复数据删除产品技术漫谈

　　重复数据删除市场可谓风起云涌，从备份厂商到存储厂商都推出了相应的产品，涵盖了软件和硬件，涉及主存储系统和备份存储设备，一时让人眼花缭乱，难以分辨孰优孰劣。本文透过产品，对重复数据删除的原理、相关术语、模式等要素进行了简明扼要的分析，最后为用户选择重复数据删除产品提供相关建议。

　　数据缩减(data reduction)

　　数据缩减(data reduction)是能够降低主存储系统磁盘使用空间的技术总称，数据简缩技术可以分为两类：压缩和重复数据删除。压缩通过把文件中一些无用的数据，例如前置零和空格等删除掉，减少文件占用空间;但压缩仅限于单个文件，无法跨越多个文件，这限制了压缩技术缩减数据的能力。

　　重复数据删除结构图

　　了解重复数据删除

　　目的：通过删除重复数据，节省磁盘使用空间，保护现有存储投资。

　　原理：在某一级别(文件级、数据块、字节级)通过一次或多次使用哈希算法(MD5 或者SHA-1)或其他相关算法查找重复数据。重复数据只保留一份，其他重复数据用指针替代。

　　应用：可以在数据备份时进行重复数据删除，同时主存储也支持重复数据删除。备份软件和备份介质(主要应用为虚拟带库(VTL))及主存储设备都提供数据去重功能。

　　熟悉重复数据删除

　　备份软件

　　一般来讲，使用备份软件进行重复数据处理涉及以下4个步骤：(1)将需要备份的文件分割为“块”;(2)采用哈希算法为每个“块”计算一个哈希值;(3)和备份服务器哈希表数据库中的数据进行比对以确定是否存在重复数据;(4)用指针代替重复的数据块并将非重复的数据块传输到目标存储设备。

　　备份软件可以在源端和目的端进行重复数据删除处理，其主要区别是：“源端去重”在备份客户端执行上述四个步骤，而“目的端去重”在备份服务器上处理。

　　产品举例：Commvault Simpana 9.0，嵌入式块级重复数据删除解决方案，可以在客户端系统删除重复数据，极大减少网络中的数据传输量;统一的操作视图和启用重复数据删除的复选框简化了管理。
(本文不涉密)
责任编辑：

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。