平安银行：统一业务大数据管理

        平安银行是中国平安保险(集团)股份有限公司旗下重要成员，为中国大陆12家全国性股份制商业银行之一。作为一家跨区域经营的股份制商业银行，平安银行总资产超1.6万亿元;总部位于深圳，在全国各地设有33家分行，机构网点450家，在北京、香港设有代表处，并与境内外众多国家和地区逾2000家银行建立了代理行关系。近两年，平安银行荣获了最佳供应链金融服务银行、2012卓越竞争力财富管理银行、最具创新意识银行、年度股份制商业银行、年度最佳银行网站、年度最佳银行电子商务应用奖、最佳企业社会责任奖、2012 中国最受尊敬中资银行等荣誉。

　　随着平安银行资产规模、网点数量和业务创新的迅速发展，各种元数据量爆炸性增长、对数据质量的要求不断提升。原有单纯的OLTP查询已经无法满足银行业务对数据的使用需求，监管报送、统计分析、决策支持、业务拓展等管理类系统在原数据中心体系下暴露出各种问题，如：系统间关系复杂、处理过程不一致、相同或相近功能重复建设、管理标准不统一等等。

　　三驾马车拉动大数据管理

　　由张小玉带领的平安银行信息科技部团队敏锐地意识到上述问题，凭借十余年银行信息系统从业经验和对平安银行IT蓝图与整体架构的精确定位，提出信息化银行的核心特征是将数据转变为信息，将信息抽象和提炼成知识、智能、智慧，为全行战略发展、决策支持、管理分析、业务拓展提供服务。因此，平安银行信息科技部将与信息加工密切相关的大数据管理明确为与核心系统建设、渠道与前置建设齐头并进的三驾马车，推动平安银行于2008年2月启动大数据管理项目，秉承信息化银行特征，通过建设操作型数据存储(ODS)、企业级数据模型、统一的基础架构，配套以合适的管理制度及标准，实现了跨部门、跨系统数据共享，提供准确、一致、标准化的数据服务，实现数据质量监控与检查，实现了数据管理与数据处理的集中、整合、共享，帮助平安银行在信息化银行建设中居于领跑地位。在中国银行业“无先例”的两行整合案例中，创新的信息系统发挥了至关重要的作用，充分依托ODS数据总线和LDM统一模型的功能定位，有效解决了整合过程中上游系统剧烈变化对下游系统接口稳定性的影响，使下游系统平滑迁移成为现实。

　　张小玉团队对ODS项目做了明确的定义，作为银行数据总线，ODS每日采集各业务系统源数据，加载到ODS，进入下一个处理环节。在管理历史数据的同时，对数据进行标准化处理和汇总加工，构建统一数据模型，支持各类集市与应用。各业务部门可按权限共享使用全行业务数据，为业务拓展、管理分析、决策支持提供丰富、统一的数据支持。

　　在“集中、整合、共享”理念的指导下，ODS整体架构中的功能模块可分为两类、共6个统一平台。原有应用整合类模块：统一数据管理、统一数据模型、统一数据处理;新搭建基础平台类模块：统一调度监控、统一采集归档、统一文件交换。每一个模块的定义、规划、变更实施和运维等都面临很大的挑战，包括与原有业务系统的无缝整合，新系统与线上生产系统的并行切换，对未来业务发展的支持等等。年轻的信息科技部团队秉承中国平安“专业创造价值”的核心文化理念，通过以追求卓越为过程的不断钻研，同时借鉴国际先进经验，搭建起一套完善的大数据管理基础架构。

　　诠释“科技推动业务”目标

　　平安银行ODS基于GreenPlum(GP)数据库实施，充分利用该数据库并行计算、无共享部署的类云模式，实现了数据处理的高吞吐量、系统运行的高稳定性。经实际测算，夜间批量总体性能比原关系型数据库提升5倍，部分单项处理提升10倍。同时，利用GP无共享部署模式，实现了数据库热备和数据节点交互镜像，有效提升了安全性和可用性，并支持处理节点的线性扩展。

　　据张小玉介绍，在ODS建设中，信息科技部团队到业务部门详细调研、充分沟通，得到了业务部门的理解与支持，并提供了大量业务指导和应用建议。因此，该项目不仅在技术上实现突破，在业务应用上也亮点突出。

　　一般而言，国内金融机构的信息系统有个从分散到集中的过程，原有MIS系统建设往往是单兵作战，各部门、各分支机构自为阵各显神通，导致开发不规范、运维不通用的弊端非常突出。而且各个业务系统、各个分支机构数据源分散、数据存储分散、同一元数据多处定义多处修改管理等问题也是大型金融机构面临的共性难题，经常是一个小变更就牵涉到大量接口系统的调整，但因为存在大量历史数据，使决策者难以下决心彻底整合。

　　“通过ODS项目的建设，平安银行实现了统一的数据管理和处理。”张小玉向记者介绍，“一方面，通过建立面向ODS的元数据管理平台，我们实现了源→ODS→统一数据模型→应用汇总发布的元数据管理体系，辅以数据管理相关各项工作制度、开发标准、命名规范、质量标准、码值标准，可以从整体角度考虑数据集成与应用汇总之间的平衡。另一方面，平安银行在全行层面统一数据处理，推动ETL工具使用;为有效提升夜间批量数据处理时效性，对所有数据处理环节进行统筹管理和调度执行，逐点检查和优化上下游依赖关系、优化和提升单环节处理性能，确保实现T+1数据支持。”

　　除此之外，ODS项目的一个核心价值在于建立了一个统一数据模型。“在以往的信息系统建设过程中，开发人员往往是上一个系统就新定义一个数据模型，只考虑在本系统内的使用效率。随着项目和数据累积，连DBA都不再了解数据模型的意义。”张小玉表示，“在本项目中，信息科技部团队通过定义元数据管理标准和规范，对贴源数据、LDM数据、应用发布数据，实现了统一管理和建模。并且基于ODS数据处理，构建了面向全行各类管理信息应用数据处理的统一调度监控平台，实现对文件传输、数据集成、数据处理、数据发布的全流程管理和监控，使得运营操作人员可以直观地通过界面执行数据处理操作并监控运行状态，降低了夜间批处理运维的复杂性，提升了系统稳定性和安全性。

           有效助力两行顺利整合

　　作为整合原深圳发展银行进程中的重点信息化实施工程之一，ODS项目发挥了积极的纽带作用。

　　2010年，平安集团宣布并购深圳发展银行，并获得审批通过。随即启动深圳发展银行、平安银行从业务整合到品牌再造、从总行机构到一线网点的整合工作。在此过程中，IT系统整合作为收官之战成为重中之重。ODS作为全行数据总线，承担了两行数据采集、加工、发布，并确保上下游接口平滑过渡的关键任务。由于ODS整体架构的完整性、合理性、前瞻性，模型的通用性、可扩展性，基础平台的实用性、稳定性，以及大数据管理流程制度的规范性、可执行性，快速实现了两行数据统一采集、建模、发布，确保了80%以上接口的平滑迁移。同时在硬件部署方面，基于GP产品的线性扩展能力，仅需对节点进行扩展，或对CPU计算能力、存储容量能力进行升级，即可满足两行数据整合需求。ODS整合的顺利推进成为两行整合和上下游系统整合的有效助力，获得了各级领导和业务部门的高度评价。

　　目前，平安银行信息科技部已经完成ODS两期建设以及两行整合改造，ODS已完成两行主机、公贷、个贷、信用卡、前置、中间业务、管理应用等108个系统的数据集成，并建立了团体、协议、事件、财务、申请、产品、风险等七大主题模型，为主机、信用卡、信贷、渠道、网银等99个下游系统提供统一的数据发布。同时，向各分行拆分和下发近20类业务数据，有效指导和帮助分行经营分析与销售支持。

　　得益于平安银行信息科技部前瞻性的规划研究，高效的开发实施和与银行业务的密切衔接，本项目荣获2011年度“银行科技发展奖”二等奖。在“平安银行ODS项目”科技成果鉴定会上，该项目获得了鉴定委员会专家一致好评，为平安银行日常运营、未来拓展提供了有利的数据支持与保障基础。

　　写在最后：

　　平安银行ODS系统成功上线平稳运行，是里程碑式的跨越，代表了平安银行大数据管理基础架构已初具规模，为业务拓展、管理分析、决策支持提供有效服务，为平安银行实现以客户为中心，连接产品线、促进产品创新、进行深度的数据挖掘和管理服务打下了良好基础，并为平安银行未来业务发展和快速扩张注入了源源不断的IT创新动力。

　　与此同时，张小玉领导的平安银行信息科技部团队又开始了新的探索：一是如何进一步发挥“科技推动业务”的能力，研究是否在IT条线建立数据分析团队，做好数据挖掘，提前预判需求、甚至产生需求，更快更好地支持全行战略经营;二是如何完善应用系统与大数据存储之间的访问关系，研究InDataBase，挖掘、SOA、ETL以及并行请求管理之间的关系，优化IT整体架构;三是如何确保知识爆炸过程中，数据访问持续高效、稳定，研究云计算、Hadoop在银行数据管理中的实际应用;四是如何确保大数据管理中的数据安全性，研究数据访问控制、数据备份策略、灾难恢复机制等;五是如何降低成本，研究数据管理、硬件部署、机房管理、网络建设等成本控制。

　　我们相信，有这样一支朝气蓬勃又经验丰富的信息科技部团队，平安银行的信息化建设必将长期处于同行业“领头羊”地位，助力平安银行实现超常规、跨越式发展，实现“最佳银行”的战略目标。

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。