决策分析与风险管理平台

　　各位下午好，很高兴有机会参加这样一个论坛，跟金融业的同行、专家，还有领导共同探讨金融业的信息化建设。我这个话题主要是从金融行业，资本市场决策分析和风险管理这个角度来介绍Sybase的一些方案。

　　我们都知道从08年开始金融海啸之后，在金融行业里面，在创新层面更注重风险的防范，还有操作规范以及合规这样的问题。下面我就简短的介绍一下我们这些方面Sybase在华尔街上一些成功的案例和经验。

　　在这之前请允许我用一点时间介绍一下Sybase公司，可能在座的各位都了解很多年前Sybase公司是一家数据库的公司，实际上Sybase公司现在已经是SAP旗下的一家公司，在去年的7月我们完成了跟SAP公司的合并。现在Sybase公司是SAP旗下专门为企业提供信息管理、分析和移动化的软件企业，Sybase公司最早是Forrester引导者，我们现在在全球已经有很多的客户群，而且全球最大的一些银行都是在使用Sybase的产品。当然包括在其他行业运营商，移动公司。Sybase很多产品在一些媒体上都很受关注，包括一些Gartner评价里面，我们都在领导者项线位置。最近几年我们的客户也是有很好的势头，我们在09年增加了很多新的客户应用。

　　现在我们是作为SAP旗下一家子公司，但是还是独立运行的一家公司。Sybase公司作为独立运行的公司，我们还是有我们自己专著的方向，主要是三个，一个是数据的管理，随着数据的不断增长、拓展，包括海量数据，我们提供很好的数据管理方案。二个是对数据的利用，数据的决策这方面也是我们一个方向和专著的地方。前面领导讲到的移动化，使得我们更多的设备能够拓展到移动手持设备上。

　　在这三个方向上分别会有一些侧重数据管理的数据库管理，侧重于分析的分析产品，侧重于移动设备拓展的移动解决方案。我们实际上在这个方向都是提供很好的解决方案。Sybase公司三个方向的一些产品的技术也都得到了很多业界的好评和供认，这里面包括我们得到了一些IDC等等很好的评价。包括数据管理、分析和移动的方案。

　　Sybase在中国其实进入中国有20年的历史，现在目前我们在中国独立运行的这一部分是有超过400名员工，包括我们的销售、研发、技术队伍，我们在中国仍然在数据库方面，我们在一些重要的行业，包括电信都是主要的数据库的供应商，这是我们在中国的状况。

　　Sybase公司是华尔街起家的公司，我们长期服务于金融行业，包括全球排名前25家银行公司中24家，我们最近几年侧重于金融时时交易的分析，我们从华尔街到伦敦每年都有好的服务支持是Sybase提供的。

　　我下面分享一下Sybase三个最新的服务方案，一个是服务于做决策分析和风险管理的平台，我们叫RAPCEP。我们服务于对操作风险和监控与合规的过去历史金融交易数据的管理的方案，我们叫HDS。还有一个就是侧重于对海量数据的管理和分析的引擎或者说数据仓库的引擎。我会简短的把这三个方案给大家分享一下。

　　首先我会谈资本市场的决策分析和风险管理平台，这个平台主要是服务于我们，我们在金融业，包括投行业务，包括我们保险，包括我们证券，有很多都是做投资的，在资本市场上投资。我们这个方案是在资本市场上怎么样能去快速的决策，然后去进行风险的监控和风险的管理。在这个当中我们实际上是看到了在这个行业里，资本市场里面其实主要可以看到有几个环节。一个就是说我们希望快速的决策，快速的去完成交易，这个实际上是我们希望有一个超低延时的交易。同时我们又需要有很多的投资分析的模型来帮助我们建立投资模型。再往后就是后端希望有很好的风险管理，以及合规性的报告。围绕着做投资市场的前端和后端，其实我们对数据有很大的，很全面的需求。我们Sybase看到这样一个市场以后，我们提出来一个独到的三层体系架构，来应对在市场上前端到后端对数据的要求。现在的趋势是数据的规模越来越大，数据产生的频率越来越高，而且对数据的需求也是有多个层次。这里面可以看到，我们在有低延时的数据需后，比如说我们投资模型要根据市场的数据快速的相应，快速的产生我们投资决策，这个时候决策要给予毫秒级以内的高速响应。

　　有对风险监控，风险管理，这在日间分工一级的响应，它可能是需要对操作型的数据进行快速的访问。我们做模型的时候，投资模型的时候需要更长久的数据，为过去两年或者过去一段时间股票市场或者投资市场大量、海量过去的历史数据，这个时候就需要有一个很好的海量数据的管理，同时又能够获得一个比较好的访问的性能。这时候我们提出来一个架构，我们这个方案的架构，我们可以全面的来支撑对数据不同的响应速度的层次要求，来进行提供综合的集成化的平台，这个平台就是我们Sybase的决策分析的风险管理的平台。这个平台实际上是希望有一个能够覆盖进行投资实时决策的处理，同时可以做高速的基于内存的分析，以及历史数据存储，把这三个方面整合在一起的一个方案，这个方案既可以满足我们投资市场交易人员对数据的低延时高性能的访问，同时也能够满足我们做定量建模时候当前市场数据和历史数据综合的集成建模。当然也支持我们做更完善的风险管理，我们可以做到日间的分析，甚至每小时的风险管理。以及日中以后的合规报表等等，这些实际上可以为资本市场包括银行的投行业务，包括基金，包括保险的投资部门，他们都需要这样一个对决策快速响应，然后对风险进行全面管理的方案。

　　这个方案本身还具备了和我们市场数据进行衔接的接口，我们可以接华尔街股票市场，可以接期货市场、外汇市场，对中国来说也可以接交易所市场，这些市场数据过来以后，我们通过这个模型就可以快速的响应，对这些市场的数据基础之上做出非常快速的决策。

　　Sybase提供这个平台，我们是集中化，集成化的平台，这支持整个资本市场投资交易各个环节的投资需求，包括我们海量数据的存储，包括交易数据的存储，包括基于内存的高速响应市场数据的快速响应的事件处理。我们可以进行一个集中的，提供一个集中的分析平台，这个分析平台就是单一的平台来支撑交易人员快速进行市场响应，风险管理人员基于这个交易数据，基于市场的数据进行日间的风险管理。包括模型的开发，包括合规性都统一的在一个集成化的数据平台上来完成分析和风险的管理，这就是我们决策分析和风险管理平台的概述。

　　我们这个平台实际上是比较灵活的专著于资本市场的一个平台，它可以化资本市场投资交易周期，提供共享集中的数据分析平台。在这里面提供了高性能的定量分析，业提供实时的交易分析，也提供日间风险和合规分析，在业界我们是一个非常好的解决方案来解决市场数据和历史数据的集成化的管理，下面列出来都是知名的投行和投资机构用Sybase风险管理和分析的平台。

　　这个平台帮助我们在不管是在交易之前的分析建模，还有交易当中以及交易以后的分析都提供统一的平台来应付海量的快速增长的市场数据管理所面临的挑战，我们可以完整的支撑交易前的分析，交易当中的快速响应和交易以后的风险和合规各个环节，来提供一个整体的方案来解决面临的挑战。

　　我们的方案通过Sybase的方案，把这些各个环节所涉及到的数据，比如说由过去的交易数据，有每天各个市场传过来的高频数据，包括你产生的交易的单据，包括事后的分析统统可以在整个Sybase平台当中进行集中的存储管理和分析，这就是我们的解决方案。它可以从交易前的分析，比如说定量分析做投资模型到交易当中，交易员本身产生这些交易规则，而且实现这种算法的交易，基于程序的交易规则，到后面交易以后的风险管理和合规分析等等各个环节，都提供一个集成化的环境。

　　所以Sybase这个体系架构实际上是一个完整的方案，可以支持我们完整的数据管理平台，可以把各个市场数据接进来，可以进行低时效的数据访问，也可以支持几年金融交易历史数据的管理，并且同时在一个集成化平台当中，这时候可以利用前端交易工具，你可以做风险分析，定量分析，都可以基于同一个体系架构来完成。

　　这个平台在很多国际投行都有很多应用，这里简单提到两个，一个是IDG作为投行机构，他主要是用我们这个来做一些定量分析和投资模型的开发。通过我们这个实现了降低数据管理成本，可以放很长时间历史数据，可以快速访问这些数据。

　　日本三菱的投资分析，他们实际上基于我们IT平台来实现了为他交易团队实现统一的算法交易平台和市场分析和模型开发。这些都是非常知名的一些投行用这个做分析和风险管理的案例。

　　下面我们谈另外一个方面，对银行或者金融机构来讲，操作风险的监控和合规的要求，实际上是需要对过去产生的明晰交易数据有一个很好的管理方案，我们提供了一个历史数据管理。历史数据管理对银行来讲或者金融机构来讲是一个长期要解决的问题。因为我们现在随着金融电子化的应用不断提高，我们很多银行、金融机构，我们的数据可能已经十年、二十年甚至更长的数据，这些积累下来以后我们往往是备份出来，这些数据对访问需求越来越迫切，一方面我们是从监管的角度，从风险控制以及从合规性上来讲我们需要访问一定期限的历史数据的原始记录，同时也会有一些公检法，一些操作风险也需要对这些交易进行数据的访问。这些实际上都是我们在金融机构面临的历史过去发生的交易数据管理的挑战。当然从另外一个角度来讲，金融机构也知道历史交易数据对银行来讲是一个非常宝贵的财富，也是希望能够把这个数据利用起来来提供内外部的监管、合规和审计，帐目调查等等这些。在这个基础之上也希望能够支撑我们做一些业务创新，做一些交叉销售，差异化的服务，还包括主动性的风险防范，以及风险管理。

　　在这个方面我们就提出来一个历史数据管理的总体的架构，这个架构是希望把银行或者金融机构生产系统，每天产生大量的数据，各个生产系统进行一个集中管理。这个集中管理好处，一方面我们把业务生产系统当中的历史数据或者说历史数据的负担、报复减出来，这样使得你生产系统集中处理当前的一些业务。往往银行来讲生产系统的压力就比较大，对性能要求通常要求很高，他希望把历史数据及时的摆脱。

　　我们就需要架构可以把生产系统数据进行集中化管理，在这之上可以形成集中的囊括了整个金融机构各个业务系统历史数据的历史数据平台，这也是一个集中化的平台。在这个集中化平台之上我们可以建立几个服务平台，包括对各个业务系统当中，因为他们把历史数据全部卸载出来之后，装在集中化平台以后，他们对历史数据的访问、服务，这个服务平台来提供。同时我们可以基于这个集中化的历史交易数据，我们可以做一些审计，反洗钱，合规监管这样的一些服务。

　　一些特定的需求必须有适当的授权以后才能查，当然这个对银行来讲往往面临的问题，可能历史很长，你要查好几年前的东西没有了，所以他需要调出来。当然这个架构用户全都是银行内部，并不是直接开放给外部用户，可能服务于外面需求，并不是直接去使用，这是一个历史数据的平台。这样包括审计、反洗钱的应用，包括随机查询来满足帐目调查要求。这个历史数据形成以后做了一个很好的基础，我们也可以做后续的数据仓库，数据分析来奠定一个很好的数据基础。这套架构当中对银行或者金融机构来讲，他可以把你的历史数据有一个很完整的全面方案管理起来，这样使得你可以不用担忧过去的历史数据是不是能恢复，是不是能够及时获得。我们知道历史数据有很多是在过期或者旧的或者老化的硬件、软件平台上，这时候你不能确保这些数据一定能够访问，一定能够及时获得。我们的方案是为了解决历史交易明晰数据长期在线保存的要求。当然这当中一个很重要的问题，我们这些数据到底花多少代价，多少成本来管理的，我们就提出来信息生命周期管理的思路，我们可以把历史数据安全年代和访问的需求来划分初步统的层次，现在硬件发展很快，有不同成本，不同性能的硬件我们根据数据生命周期进行数据的多层存储，前端的查询、访问我们会根据不同的要求定向到不同层次的磁盘上，这样形成非常优化的TCU，总体应用成本的解决方案来解决历史数据的长期管理。而且我们希望在有一些银行，金融机构实施的时候，希望从现在开始往后几十年都用这样一个方案来去实现历史数据的管理，这样可以确保数据永远在线可以访问，这是对历史数据的一个方案，对于金融机构来讲是非常好的方案。

　　我们有一些客户已经实现了这套方案，他们获得了一些收益，我概括了一些。比如说其中一个就是把全部的业务系统历史数据，交易数据慢慢剥离出来形成大集中，形成了整个金融机构的单一的数据视图，这样很好的保持数据的一致性和共享。

　　第二，建立了一个比较基础性的数据存储，可以解决长期历史，海量历史数据的长期存储要求，并且成本非常的核算。并不需要用很多高昂的存储设备，同时又提供了很多服务，可以面对不同的查询系统提供查询的支持。

　　建立了一个统一的字典或者统一的数据字典，这样可以集中管理整个金融机构所有的历史数据。所有生产系统的数据的字典。因为集中存储了历史数据，就可以进行统一的安全访问控制，他的使用备份等等这些机制就非常容易去处理，而且集中化来处理，对于我们IT部门管理起来，这些数据资源非常方便。

　　当然最主要还是实现了对信息生命周期管理的方案，有效的降低了历史数据管理的TCU。这是我们对于金融业历史数据来服务于风险管控，合规等等。其实前面两个方案当中都有一个核心的产品来负责海量数据的存储管理和在海量数据上分析，我下面介绍一下这个SybaseIQ软件。这是一个专门针对海量数据分析查询的数据仓库引擎，它用了列式的方案，并且是MPP架构来实现数据仓库的技术。

　　概括来讲这是高度优化，专门用于海量数据分析的服务器，同时是在标准平台，标准的操作系统，甚至开放的平台。他的主要特点，性能会比普通传统熟悉的关系数据库要快很多倍。他还有一个特点，他的存储效率很高，他可以把数据压缩存储，对历史数据来讲有很庞大的数据，我可以降低对存储的开销，可以减少原始数据的两倍或者二分之一，或者五分之一的效果，这样就很容易控制整体存储的成本。当然也包括支持我们信息生命周期管理，可以有效解决长期的数据，长期存储问题。IQ这个产品，具体细节我不多讲了，主要跟大家介绍有两个特点，一个是垂直存储技术。这是相对于传统数据库来讲，数据库是按行放数据，IQ就是转变了这种方式，这是按列来存放数据。

　　二个是采用了无处不索引的技术，所有的IQ数据都是做的索引化以后保存的，这是两个最主要的特点。

　　简单给大家一个直观的图可以看到，IQ的核心之一，列式架构，上面是传统数据库的，这是一行一行来存数据。这时候你的查询只要访问这三个列，你也必须读过每一列选出这三个列，你要的列，这时候会发现执行查询的时候会浪费大量的IO，IQ就不一样了，这是列式存储，比如说要这三列就读这三列，其他不会做IO，这大大提高了磁盘读写的工作。而且效率很高，他只对他需要的列做IO，不会去读没有管的列，这就是最可行的一个转变。

　　IQ的索引，这是通过我们一个专利的技术Bit-Wise，在这个基础之上衍生出有九种索引类型。这些索引都会在我们的分析、查询当中发挥作用。但是这些发挥的作用是靠IQ的引领智能完成，对前端开发人员是完全不不同的，我们基于IQ写支持的时候不会有额外的负担。IQ这个产品在市场上也是非常好的分析服务器，我们这个产品在市场上有20年的历史，它有很多专利。所以在一些大的机构都在用Sybase的IQ，在国内也有很多用户在用，比如说银行，像上海的用户，交通银行，普发银行，北京农业银行，他们都在使用SybaseIQ来做历史数据的管理和分析决策的应用。

　　SybaseIQ本身也有一个很好的体系架构来支持规模的扩展，在这个架构当中，在IQ里面是两个层面，一个是存储层，海量数据的存储，一个是海量数据的访问。中间通过高速内部互联来进行共享集中化的存储，在存储当中我们前面提到了可以实施生命周期管理，可以把数据按照数据的活跃度，或者对性能的要求分成最活跃的客户和现在数据以及历史数据，然后有不同成本的存储阵列组成不同层次的存储，然后可以进行分层存储。当然可以进行拓展，你每一层数据增加了可以独立的去拓展，上面这个主要是查询分析的节点，这实际上是多路并发的架构，这样可以很好的应付用户并发数量不断增长的需求，而且并发的增长特性非常好，几乎能做到比较线性的架构。

　　在存储方面，IQ支持多级存储以后，他可以通过设置，可以决定我的数据怎么样摆放不同成本的存储设备上，而且可以自动化完成迁移，按照规则来决定这个数据随着时间的推移不断的变冷，然后低成本迁移，这一套方案实施起来会获得低成本，同时我们的IT部门或者运行部门又没有增加很多的工作量，这样带来很多的好处。

　　IQ本身还有多结点扩充，这也支持我们在云环境当中定义一些虚拟的服务器，这可以把多台主机，物理结点组成逻辑结点，这样来适应云环境当中资源的弹性分配和管理、使用，这可以用不同的逻辑、服务器，来为不同的客户或者不同的应用组成一个专门的服务。比如说可以有一些虚拟的数据集市，有一些供给的资源，这样的话可以把这些硬件资源充分的灵活的调度，灵活的来组成不同的服务器，不同的逻辑服务器，所以它是一种基于列式架构的MPP架构来处理海量并行的应用需求。

　　因为时间关系我大概介绍一下Sybase在金融行业分析和管理平台，我们服务于风险监控和合规的历史数据，以及我们的核心的海量数据存储的平台。以上就是我介绍的内容，非常感谢，谢谢大家。

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。