哪些企业适合采用重复数据删除技术

    一、数据量大、且冗余大的企业适合使用重复数据删除技术。

    在对企业的信息化数据进行存储与备份时，超大的容量一直是项目管理员比较头疼的问题。有不少企业，可能一年就需要升级一下存储设备的容量。在这种情况下，采用重复数据删除技术能够起到一定的效果。

    通常情况下，当企业的数据量越大，备份数据中所包含的冗余部分也就越多。虽然说增量的数据备份策略只是备份哪些有变化的文件，可以在一定程度上提高备份的效率、缩小磁盘空间。但是这个增量备份策略通常也会包含比较多的冗余的数据块。为此对节省磁盘空间的效果并不是很理想。

    此时企业可以尝试使用重复数据删除技术来消除冗余的数据块。通常情况下重复数据删除技术的核心优势就是保存唯一一份备份数据的数据段。简单的说，当数据写入到备份设备时，数据会被分割成可变长度的数据段。重复数据删除解决方案会实时的将该数据段与已经存储的各个数据段进行对比。如此的话，就可以保证每个唯一的数据段在存储设备上只保留一份。因为重复数据删出技术可以在文件内或者文件间，甚至数据块内发现重复的文件和数据段，所以实际所需要的存储空间也就比所需要保存的数据量低一个数据级别。容量优化效率的高低主要取决于所采采用的算法。

    为此如果企业想大幅度的降低其存储容量，并且企业的数据存在比较大的冗余(如2011年的报表是在2010年的基础上延续下去的)，此时就可以使用重复数据删出技术来解决存储容量过大的问题。

    不过这里需要提醒的是，其数据压缩的效果直接跟其所采用的算法相关。现在针对重复数据删除解决方案，有不少对应的算法。在选型时，需要评估各种算法的优劣。甚至可以直接测试一下，看看其容量优化效果到底有多大。然后再根据实际情况来选型。

    二、数据恢复时要客户增量备份所带来的困扰。

    增量备份只备份有变化的文件或者数据。其可以在一定程度上降低备份的开销、提高备份的效率。但是其也存在一些负面的效应。如以Oracle数据库为例，有时候全备份方式的备份恢复执行起来要比增量备份快。这主要是因为在增量备份过程中经常要对整个数据库进行扫描，以便发现改变的数据块。而且增量方式在数据恢复时还需要一个完全备份和多个增量备份文件。此时就会增加数据恢复的复杂性、降低数据恢复的速度。如果企业的数据管理员，正在为增量备份所带来的这些问题所困扰，那么可以试着使用以下重复数据删出技术，看看能否帮你解决问题。

    笔者还是以Oracle数据库为例。如果现在我们利用重复数据删除技术对Oracle数据库文件进行备份，会有什么样的改善呢?此时数据库文件备份所需要的时间是由遍历数据块的时间和数据时间所构成的。对于增量备份来说，数据块的遍历是对数据库进行全表扫描，以便发现改变的数据块。这往往需要比较长的时间。而且其所需要的时间与数据库的容量成正比。而以磁盘为介质的备份设备具有高性能和在线重复数据删除的功能。为此在对Oracle数据库进行多个完全备份时，只用了很少的存储空间(因为消除了冗余的数据块)。此时企业进行完全备份和数据块级的增量备份所占用的存储空间基本相同。而与普通的备份设备相比，使用重复数据删除技术的设备做完全备份时，可以节省95%以上的存储空间消耗。在某些场合中，其磁盘节省的效率比增量备份还要高。

    简单的说，从数据存储空间、备份效率等综合效果来看，重复删除技术+完全备份＞增量备份。如果企业采用了重复删除技术的存储设备，那么就不需要再对数据库进新增量备份，而直接采用完全备份即可。此时即不用担心磁盘空间的问题，也不用再顾虑采用增量备份时所带来的负面作用。

    三、对数据进行异地备份。

    在数据安全要求比较高的企业，光本地备份还不行，往往还需要对数据进行异地备份。如现在的电子商务网站，其可能在北京、上海各有分支机构。为了数据的安全，不同分支机构的数据要进行相互之间的异地备份，以提高数据的安全性。在进行异地备份时，数据管理人员最关心的莫过于数据的容量。当数据的容量比较大时，不仅需要比较多的备份空间，而且在异地备份时对于带宽的要求也比较高。正是由于这种原因，异地备份需要企业比较高的成本。这也限制了异地备份策略在企业中的应用。

    数据重复删除技术很好的解决了这个问题。因为采用了重复数据删除技术之后，其备份文件的容量已经非常的小。此时即时每几个小时进行一次完全备份也只需要少量的磁盘容量。然后将这个备份文件通过互联网进行传输时，还可以大大的节省网络带宽。从而可以帮助企业降低远程备份的成本。

    在远程数据同步作业中，重复数据删除技术也非常的有用。如笔者有一家客户，他们就将备份数据的在线复制当成异地磁带存储的替代解决方案。简单的说，就是其服务器在北京，然后在上海在设置一台备份服务器。将A服务器的数据与上海备份服务器的数据进行同步。正常情况下使用北京的A服务器。等到A服务器因为某种原因出现故障时，则立即利用上海的服务器代替。此时由于采用了重复数据删除技术，大大缩小了备份文件的容量，加快了网络的传输能力。

    四、要与现有设备与系统进行有效的整合。

    不少企业在采用新的信息化应用时，需要考虑如何与原有的信息化设备与系统进行有效的整合，即要考虑系统与设备之间的兼容性问题。在采用重复数据删除技术时也存在这种情况。不过不用担心，重复数据删除方案提供了不同的解决方案，以提高这个方案与企业现有环境的兼容性。

    如重复数据删除解决方案现在有两种解决思路：基于硬件的解决方案和基于软件的解决方案。如果企业现在还没有专业的存储设备，那么就可以采用基于硬件的解决方案。简单的说，就是软件与硬件一起购买。如果企业已经有了存储设备，此时想节省磁盘空间的话，那么就可以购买软件的解决方案。现在不少的提供商已经将重复数据解决方案以软件包的形式给客户。

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。