【专家讲堂】对话昆腾，深入了解重复数据删除底层技术

夜的小宇宙

大家好，重复数据删除是近年来存储业内较热的底层技术之一，广泛用于近线存储与备份领域。关于重复数据删除不知道大家是否有什么疑问，可以在楼下跟贴提出，2月20日，我们邀请了昆腾公司的资深技术专家为大家解答有关重复数据删除的疑问。有任何关于昆腾公司的问题也欢迎大家提出。

leavis

复数据删除In-band和Out-of-band有什么区别呢？

我听说基于硬件的重复数据删除产品中有In-band和Out-of-band两种功能，请问这两种功能的区别，哪种更好了？

a龙

现在各家存储厂商都说具有SIR功能(好像连微软的Windows Storage Server 2003都有这个功能),但是还是感觉有点不放心.该公司的产品相对于别的公司有什么特别的特点吗?这个功能当前真的已经成熟了吗?都有那些实际案例?

[ 本帖最后由 a龙 于 2008-2-18 13:57 编辑 ]

a龙

原帖由 leavis 于 2008-2-18 13:40 发表
复数据删除In-band和Out-of-band有什么区别呢？

我听说基于硬件的重复数据删除产品中有In-band和Out-of-band两种功能，请问这两种功能的区别，哪种更好了？

这2种一般是指管理方式,还有其它意思

leavis

前几天有人跟我这个问题，我也不清楚，刚才搜了一下，贴出来看看。

in-band

　　当我们实施一个in-band虚拟储存器网络的时候,数据和控制在相同的路径上的流动。 抽象层存在于数据路径中，而且存储在域管理器的控制之下可以被设置为存储池。 大体上，in-band解决方案实施起来是比较简单的，尤其因为他们不需要在服务器上安装特别的软件(相对于传统的多路径软件)。in-band解决方案也能在存储网络里面提供缓存和高级功能。这可以帮助改进现存的磁盘系统的性能并延长他们的使用寿命:通过充分发掘低功能低成本磁盘系统的潜力，在不损失性能的前提下，减少因增加新存储容量带来的成本。

out-of-band

　　在一个out-of-band实施方案中，数据流与控制流分离。在这种方式中我们是把数据和元数据( 解释有关数据的数据)放到不同的地方去。out-of-band虚拟化要移动所有的映射和锁定列表到一个独立的包含文件的元数据的服务器(元数据控制器) 。在一个out-of-band实施方案中，服务器向元数据控制器发出认证请求，元数据控制器授权，处理锁定请求，等等。一旦他们被授权,服务器将慧直接地存取数据，而不需要任何元数据控制器的干预。一旦一个用户端获得对一个文件的存取权,所有的输入/输出将会通过san直接地访问储存设备。对于许多操作，元数据控制器没有太多的干涉。以这方式分开控制和数据的流量，允许输入/输出使用san 提供的完整的带宽,而控制数据可以走一个单独的san网络或路由。

[ 本帖最后由 leavis 于 2008-2-18 14:07 编辑 ]

a龙

呵何

夜的小宇宙

原帖由 leavis 于 2008-2-18 13:40 发表
复数据删除In-band和Out-of-band有什么区别呢？

我听说基于硬件的重复数据删除产品中有In-band和Out-of-band两种功能，请问这两种功能的区别，哪种更好了？

主要指的好像是重复数据删除发生的位置，是在数据从主机到磁盘阵列的存储过程中，还是已经存储到磁盘阵列上了，后台再进行操作。

前者是in-band，后者是off-band

夜的小宇宙

原帖由 a龙 于 2008-2-18 13:48 发表
现在各家存储厂商都说具有SIR功能(好像连微软的Windows Storage Server 2003都有这个功能),但是还是感觉有点不放心.该公司的产品相对于别的公司有什么特别的特点吗?这个功能当前真的已经成熟了吗?都有那些实际案例?

微软也有这个么？感觉WSS2003应该更偏在线存储，不知道他们把SIR/De-dupe用在什么地方哦

grjboy30

哦？磁带库


听说  介个东西恢复数据不错 ，可以把硬盘扔臭水沟里也不怕 ，只要在“规定”的保护时间里放如该设备中变可以及时备份出来

不知道我了解的是否正确，如故正确，想问下归公司的产品的”规定“恢复时间为多长

夜的小宇宙

原帖由 grjboy30 于 2008-2-18 15:08 发表
哦？磁带库


听说  介个东西恢复数据不错 ，可以把硬盘扔臭水沟里也不怕 ，只要在“规定”的保护时间里放如该设备中变可以及时备份出来

不知道我了解的是否正确，如故正确，想问下归公司的产品的”规 ...

嗬嗬，恢复快并不是这个意思。实际上重复数据删除技术不仅仅不能恢复丢失的硬盘数据，而且理论上来讲是造成更多安全隐患的。

我想你看到的重复数据删除技术“恢复快”应该是一个很复杂的意思。你知道备份数据通常有很多的冗余，也就是重复数据，当把这些重复的数据删除后，只保留一份数据，这时候的好处当然是能够大大的节约存储空间，坏处就是：

1. inband的实现方式会占用一定的计算资源（发生在数据从服务器到存储的过程中）

2. 只保留一份数据，一旦损坏所有的数据都找不回来

3. 根据实现方式的不同，可能会扩大备份或者恢复所需要的时间。（因为需要根据保留的数据来推算完整的数据）

当然厂商也都清楚这些事情，所以也都做出了很多的办法来规避这些问题。

所谓的恢复快，应该指的是为了规避上述情况的发生，厂商做出了很多努力之后，认为应用这项技术对备份后的恢复没有太大的影响。

另外一个理解就是，因为这项技术本身和磁盘备份结合比较紧，相比磁带，磁盘当然恢复快了

BlueWoWo

破锅知道的还真不少啊！学习ing

grjboy30

看来这么说贵公司的磁带库中已经把RAID的性能都带进去了吗

那性价比可否列个表单出来

这样以后做 视频点播之类的时候可以考虑是用磁盘阵列还是磁带库或是其他的什么

云杉上的蝴蝶

有没有人研究过磁带和磁盘存储的黄金分割点？也就是说当存储容量达到多大规模时磁带库和磁盘阵列相比无论在性能上还是成本上前者都超过后者！

grjboy30

个人认为各个厂商出的每批的产品用的材质不同的情况来看,每批都有自己的"特色"——就像品牌电脑里每批用的内部硬件的厂商不可能只是一家一样，也是要考虑资金、市场效益等诸多方面，可能要求高的时候就用顶级的“产品架构”也是可能的。

  所以如果有这个所谓的 黄金分割点的话——也只是在同一批货里，但是你要知道，磁盘似的盘片是离轴心越近，磁道就越密，这样要想1“刀”割出个分割点也不大可能，分来分去又成了 簇了！~

个人歪理而已，不知道是否正确，望专家给个合理说法

夜的小宇宙

原帖由 grjboy30 于 2008-2-18 16:56 发表
看来这么说贵公司的磁带库中已经把RAID的性能都带进去了吗

那性价比可否列个表单出来

这样以后做 视频点播之类的时候可以考虑是用磁盘阵列还是磁带库或是其他的什么

磁带库好像不能做RAID吧。。。。

磁带库同样不能用于视频点播，一个是离线存储，一个是在线应用。。。。，可以考虑磁盘阵列和NAS