您现在的位置是:首页 > 数字化转型 >
浪潮寇先朋:大数据与信息安全
摘要由中国计算机报主办的“2014年中国数据中心大会”于4月10日在北京新世纪饭店隆重举行,本次大会的主题是“能效为先 管理为重”。以下是浪潮公司的存储专家寇先朋发表的题目为《大数据与信息安全》的主题演讲。...
寇先朋:各位来宾大家好,我是来自浪潮集团的寇先朋,我今天演讲的题目是大数据存储与信息安全。我们现在知道我们是生活在一个信息大爆炸时代,IDC公布了数字宇宙的概念。从2001年整个信息存储容量在1.8GB,但是这个数据还是持续的增长,到2020年的时候整个数据量达到35.2GB,增长的速度是达到44倍。我们现在可以看出这个数据量的增长是迅速增加的,但是增长过程中我们发现非结构化的数据远远大于结构化的数据。这对我们整个存储系统来讲提出了更高的要求,我们要讲的是一个数据信息的战略性资源,为什么这样说呢?因为数据信息已经和能源土地和人力资源成为国家的四大战略资源,信息技术将会产生一些类似于信用卡,个人的银行帐户,身份证号,还有一些类似于铁路、航空的资源。所有的数据最终一点会存到什么地方呢?存到存储系统里面,我们讲存储系统就是一个数据的家。我们现在讲的一些数据中心也好,云计算也好,物联网也好,最终所有的都是以数据构成的,数据最终的存放地点就是我们存储系统里面,这个安全也代表我们数据的安全。
整个存储技术的发展,一个是容灾存储,容灾存储现在主要流行几点,一个是双核数据中心,两地三中心,另外一个是信息化存储,这有可能符合今天的演讲主题,管理为证。因为有时候我们各个厂商的存储系统如果没有办法统一的管理,势必会增加这种数据中心运维人员管理的复杂度,所以信息化存储也是解决这个问题的最重要的解决方式。另外他处理的一些大数据,大数据的存储还有云计算,云计算还提出了云存储。
安全存储,代表你这个存储系统如何保持安全,进而保证你数据安全。最后是一个绿色存储,这是整个存储技术的发展趋势。
浪潮公司是依托于几个重点的,一个是国家重点实验室,他是高性能的计算技术和存储技术,国家重点实验室,另外一个是工程技术中心,就是国家级的一个工程技术中心。还有是存储技术联盟,最后一个是海量工作标准会,依托于这四个进行浪潮研发。浪潮研发是遵循三个方面,第一个方面是应用基础科研机构,我们是关注三到五年创新型的技术研究。第二个是技术与产品的开发机构,我们注重是一到两年内应用技术和新产品的创新设计开发。第三,工程工艺的研究机构,我们注重的是工艺测试技术和产品质量等方面的开发设计。依托于这三种研发体系,浪潮也申办了国家的高性能服务器和存储技术的国家重点实验室。另外是一个国家级的企业中心,并且是浪潮博士后的工作站。
下面这个图展示的是国家唯一面向服务器和存储技术研究的国家级重点实验室,这个实验室坐落于山东济南,整个实验室占地面积5000多平米,所有的内部设备应该是总价值超过一亿元,具备先进的研发信息网络和安全防护设施,可以提供大型综合的检测环境。依托于这个实验室承担国家级和省部级项目30多项,获得申请发明专利300余项,科研成果获得国家级和省部级奖项,也是依托于这个国家重点实验室,浪潮存储突破一些技术,类似于多控多核的技术。
高性能全局共享缓冲技术。还有刚才讲的存储信息化技术,也是现在业界和各个公司各个用户最常用的技术。
然后和数据中心相结合的模块化的架构技术,最后就是定性文件访问的系统架构。也是依托于重点实验室,浪潮在存储研发的时候设定了三级测试验证,一个是测试实施,还有多种测试方法,最后是丰富的测试环境,保证研发的存储系统能够经过一个严格系统的测试。这是整个浪潮存储研发的成果,我们共承担了国家级项目八项,国家重大转项一项,省部级30多项,一次获得国家科技进步奖,信息产业重大发明一项,电子学会二等奖一项。下面是申请国家级专利,这是我们存储的研发成果。第一部分是海量存储,是国内第一个自研多控制器存储系统,也是即美日之后的具备大型存储系统研发的国家。第二个是高密度的集装箱数据中心,这是在一些大型的集会,特别是军队,不可能把数据中心建在野外场地,我们为了适应系统,把所有的计算资源,存储资源,全部装在集装箱里面,供点然后散热都在集装箱里面,如果有需要把集装箱卡着卡车拉过去就可以,提供计算资源和存储资源。
下面罗列这几年研发主要存储结果,第一个最重要的是国家海量级的存储系统研制,也是实现了国家的海量存储的突破。AS10000是国家十一五期间的863计划,海量存储关键系统的研制成果,该项目的立项时国内的一个技术,应该是落后国外将近20年,而浪潮仅用了三年的时间,从09年立项到2012年产品化,研制AS10000,这也是多控制器结构,在我国高端存储系统领域实现从无到有突破,打破国外厂商长期的市场垄断,这也是国家在存储系统技术领域投资最高的一个项目。这是整个浪潮存储系统的布局,分成四大块,第一块是在线监护存储系统。第二个是数据保护存储系统,这两部分业界通用的,类似于一些中低端的一些。第三部分是业务整合系统,我们刚才讲的一些,有存储信息化的,还有做容灾存储的。还有海量存储系统,这已经在中国资源卫星中心和广电总局成功应用。
这是浪潮研发海量存储系统的系统架构,我们把整个存储系统分为四个部分,第一个部分可以说是服务器端,就是使用者。第二部分是指挥部,所有的数据的统一的运营管理。第三部分就是后勤部,什么意思呢?他会提供一个数据的访问控制流。第四部分是物资库,所有的数据最终存储的一个地方,我们称之为物资库,也是通过这种方式是横向扩展架构,你存储的容量都是线性增加的,你这种容量需要增加,你的系统也是根据你容量增加而增加的。
业务整合系统是异构存储整合,里面最重要一点立旧,把客户之前已有存储系统无缝隙接管过来,不需要进行任何改动,直接把你的存储系统接管过来,然后整合进行新的管理,一是降低了成本,另外降低了你运维人员工作量,你是两个存储系统,我们可以想象运维人员既要管理之前旧的管理系统,又要管理新的系统,他的工作量就大了。如果存储整合管理一套系统就可以了,运维人员管理量也会降低。
第二,高效率的存储配置和管理。
第三,能够实现应用的高可用。我们知道数据还是和你应用的,你只有数据没有应用,数据也是废的数据,这个地方也讲了,把你的数据管理之后,你的应用也能够实现高可用了,保证你的应用可以7×24小时对最终的用户和生产部门提供服务。
第四,模块化设计,可以按照你的需求进行一个横向扩展,满足你的容量和性能的持续增长,而不是像之前那样,我想在座很多都是IT专家,你之前搞的信息系统,如果说你的信息系统只是规划了一到两年,但是突然你发现某一天你这个企业你这个单位,你的数据量增长非常快,让你比较头痛的事,怎么样把之前的数据无缝隙的迁移到新的里面,让你前面用户感觉不到新的变化,这就是为什么之前遇到一些客户,在上新的存储系统的时候,这些工作人员每天都是晚上加班,生产部门下班之后他们从下午六点干到白天六点,因为他们不能影响生产部门的正常使用。
最后一点就是能够保证你业务系统的持续增长,这是我们讲的浪潮存储系统,业务整合存储系统一个异构存储整合,构建的存储池,带来的特点和优势。
接下来是实现数据自动分层的技术,我们现在一些热点数据或者说微数据,和冷数据,你热点数据存在的时候势必对你存储系统造成比较大压力,因为很多人在访问。最典型的例子是什么呢?有一些公司可能上了一些周转虚拟化,这个每天什么时候呢?从每天早上八点半到九点访问最多的时候,这个时候很多人来到公司打开电脑,这放在存储信息里面,这时候存储系统不用SD盘,这会是一个性能瓶颈。一个企业100多号人,访问这个存储系统,然后他访问这个景象要求非常高的,普通的SAAS盘根本满足不了这么大ROPS,这个地方通过数据的分层技术,把这种镜像,每天早上八点的时候放到高转速盘上面,之后迁移到冷数据上可以实现这种需求。
另外一个是在线数据迁移,刚才已经讲到了如果能够保证生产业务部门的业务不中断,特别是在银行用户,我们在银行用户要保证7×24小时,如果某个用户或者银行的客户,你如果说某一个时间点,有一个用户取钱了,你存储系统卡掉了,这是什么情况,钱没有了还是什么情况。这个对任何用户来说都是不能够承受的,所以我们在这个地方,有一个在线的数据迁移,这个最大的作用保证你前面的应用,能够实施平稳运行。当然你后端存储系统变化的时候,你前端生产部门是感觉不到这个变化的。
这是我们刚才讲的,我们国产的海量存储系统,然后在中国资源卫星中心的应用,这是从2011年开始,浪潮海量存储系统正是在中国资源卫星中心投入使用,相比国外一个存储系统的处理时间,平均缩短了56%,在重大自然灾害的技术能够提供十分钟,能够把这个数据进行恢复,是保证2010年和2012年国家发射两颗卫星,一个是资源一号,一个是高分辨资源三号,这个绕地球一圈会拍10个TP,当卫星经过中国上空的时候把数据传下来,差不多小于十分钟的时间,如果你整个存储系统带宽量达不到那么高,我们现在部署的是能够到每秒20TP传送量,如果少于这个量就意味着卫星白跑了。这一次马航,中国调用很多卫星,卫星有自己的特定轨道,你调用一次这个寿命就减少,这是一定的,本身这种卫星技术是国家耗费了很多资金和人力进行研制的,你卫星的轨道一变动,卫星的寿命会减少,卫星的工作有一定寿命的,当你卫星经过中国上空,你存储系统没有那么高带宽又不稳定,有可能传输性能达不到那么高带宽,卫星白跑了,这代表了不光是对资金浪费,更是技术和资源的浪费。
我们给中国资源卫星部署的时候,要求每秒能够达到20G大的贷款量,这样才能够满足传输数据要求,这一套存储系统部署之后,实现了我国天上地上完全自主可控,国外对我们卫星技术几乎全部封闭的,任何一般都是靠两弹一星的精神研制出来的,存储技术也是这样。浪潮存储系统在中国资源卫星中心部署之后,代表我们卫星打上去可以用自家东西接收下来,当你这个存储系统数据,哪一天有后门,等于给别人干事情了。
第二个案例成功应用于国家光电总局,我们当时部署3PG存储容量,他需要监控2000个电视台,还有1500个广播台,实时监控录制他们所有的播放内容和演出内容,并且要求存储系统是一年365天进行实时监控管理的,也是为了应对这种需求,我们用浪潮第一台AS10000部署在国家广电总局,一期的时候部署的是1PG,后来随着互联网技术广播电视台发展趋势,需要的容量是逐渐增大,后来逐渐增加到3PG,满足他对大容量存储系统的要求。
这是浪潮海量存储系统两个案例,一个是中国卫星资源中心,一个是国家广电总局。以上是我今天演讲的内容,谢谢各位。
(本文不涉密)
责任编辑: