光大证券：“7*24小时”数据采集严控项目风险

证券公司在经营中面临着很多风险，如内幕交易、操纵市场、欺诈客户等，这些欺诈和投机行为会给证券公司带来很大损失和不良影响，因此，防范各类风险的发生、创造公平的交易环境成为所有证券公司的重要职责之一。

为了加强对证券公司风险的监管，证券公司纷纷加大了IT技术的投入，通过集中各种交易数据进行实时分析以监控各种非正常交易行为。2008年，光大证券基于自己的高效数据平台实现了数据的跨平台采集，进而成功地完成其风险控制项目的建设，还为多种其他应用打下了坚实的数据基础。

面临数据采集难题

创建于1996年的光大证券股份有限公司是由中国光大（集团）总公司投资控股的全国性综合类股份制证券公司，业务涉及证券的代理买卖、证券代保管、证券的自营买卖、客户资产管理等，是中国证监会批准的首批三家创新试点证券公司之一和首批17家A类A级证券公司之一，其业务规模及主要营业指标居国内证券公司前列。

作为一家为客户提供增值金融服务的上市证券公司，光大证券高度重视各种风险的防范工作，不仅建立健全了各种制度和规范，还于2008年初启动了新的风险控制项目: 把柜台交易系统、财务系统、客户服务系统等多个系统的数据采集出来，然后基于各种风险识别的规则进行分析和判别，以最大程度地降低公司的经营风险。不仅如此，光大证券还想以此为契机，对数据进行再次利用，比如对数据进行交叉分析，进而针对性地推出产品或做出有针对性的决策。

所有这些工作的一个前提就是要完成数据的集中采集。以证券交易中常见的一种证券欺诈行为——“虚假申报”为例（虚假申报指行为人持有或者买卖证券时进行不以成交为目的的频繁申报和撤销申报,制造虚假买卖信息,误导其他投资者,以从中渔利的行为），要识别出这种行为需要实时采集交易系统的数据，同时还要结合该交易人以前的交易习惯以及该交易人的个人信息等，这就意味着要采集多个业务系统中的数据进行综合分析。

然而，在数据采集过程中项目组遇到了难题：光大证券缺少一个统一的数据平台来对大量的实时数据加以整合、分析，为公司的其他业务提供数据支持。

“数据采集的一个困难是，光大证券有多个业务系统，这些系统是不同时间建立的，数据格式并不统一; 另一个困难是需要实现实时的数据采集，包括从柜台交易数据中实时采集证券交易数据。”光大证券软件开发组项目经理孙思维告诉记者，负责完成股票交易的柜台交易系统，是证券公司最核心的业务系统，应该尽量避免其他因素的干扰，因而对数据采集平台的要求非常高，必须是高效而且可靠的。

以往光大证券的数据采集工作主要依托原数据中心及开发商的ETL平台来完成，这种方式带来的最大问题就是不灵活，无法及时获取自己所需要的信息，而且成本高。因为每个新的数据采集需求都依靠第三方服务商用手工编码的方式来实现，这就造成数据采集和处理项目需要很长时间才能完成，当出现新需求和异常情况时无法快速响应，而且，实时数据采集只限于几个业务流水表，无法满足光大证券的实际应用要求。

全面实时的数据采集

此前的数据采集方法在此时行不通了。光大证券开始寻找新的解决办法。经过广泛的调研，光大证券将关注重点落到了数据采集平台建设上，计划通过建立一个统一的数据采集平台实现跨平台的数据采集工作。“更为重要的是，这个数据采集平台不仅可以用于本项目，还可以用于公司其他应用的数据采集工作。”孙思维说。

在确定开展数据平台建设之后，光大证券找到了从事数据集成产品和服务的Informatica公司。Informatica根据光大证券的实际需求，提出了一个集PowerCenter8 Real-time Edition与PowerExchange为一体的实时数据采集方案，帮助光大证券成功地搭建了一个统一的数据采集平台，使光大证券能够根据需要随时随地访问各个业务系统的数据，并在整个企业内传递数据，最后把不同来源、格式、特点、性质的数据在逻辑上或物理上有机地集中，为企业各部门系统提供全面的数据共享。

方案采用了基于日志的实时采集方法，让光大证券可以实现增量采集，在过程中不会对原数据表加锁。该数据采集平台通过调用数据库提供的API函数实现日志采集，从而避免对其他业务操作造成干扰，以尽量减少对光大证券各业务系统性能的影响。

实时数据采集是光大证券最为关心的问题之一。该平台让客户端可以记录当前采集的位置，在必要的时候可通过系统的调度记录恢复到历史采集点重新采集，并可人工设定下次采集的起始点，从而提高实时数据采集的可恢复性。

在整个解决方案中，PowerCenter充分承担起数据ETL平台的作用，不仅可以实时地采集到各种关键数据，还能将这些数据进行复杂规则的转换，并输出到不同的平台、系统中加以分析，从而做到对这些实时数据的充分利用。

应对未来的需求

经过一段时间的上线运行，光大证券的数据集中采集平台的数据整合能力得以显示出来，不仅解决了数据采集效率低下的问题，使分布在不同系统中的业务数据得到了有效整合，还构建了完整的全公司数据环境，提升了运营管理及决策的效率。数据的管理与维护也得到了加强，响应与部署的速度得以加快，数据质量也得到了提高，为分析系统提供了全面的支撑。

孙思维表示：“以往采取手工编码进行数据整合时，采集出来的数据经常会出现各种问题，甚至导致下游的一些数据应用根本无法进行。而采用新的数据平台后就不会出现这样的问题了。”

而在实时数据采集方面，光大证券的应用效果就更为明显。包括客户的交易流水、客户信息、资金、股份等信息以及柜员的操作记录、交易所的行情源、成交回报库等实时数据都能通过数据平台迅速加以整合，用于监控客户异常交易行为以及柜员的特殊操作的风险监控系统，也可以为客户服务系统进行成交回报与策略交易分析，大大加快了光大证券的业务反应速度。

如今，光大证券不仅在风险控制系统中使用了这个数据采集平台，还在该平台的支持下，通过对数据进行快速、准确的分析，加快其产品与服务的推出速度，进而提高了企业管理水平与竞争力。

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。