东方金信演绎大数据技术开发的“积木效应”

　　引言：大数据所覆盖的边界，至少会包括两个业务，一是那些本身数据量确实足够大的业务，特别是传统数据解决不了的业务;二是指那些本身数据量可能并不是很大，但通过大数据技术所能够解决的应用，他们两者都隶属于大数据的范畴。 ---东方金信杜伟杰

　　业内的大数据厂商，往往既要做平台，又要做解决方案。而就平台而言，标准化和通用性是最大的特点，而就解决方案来说，最大的特点就是定制化。那么，从大数据技术开发角度，如何去平衡共性和个性之间的微妙关系，实现化反?东方金信联合创始人杜伟杰先生就用“积木效应”来做比喻，给出了他的解释。

　　我们知道，搭积木有两个方面很重要，一个是积木的模块，另一个是用模块来搭建各种模型。大数据平台解决标准模块的问题，而大数据解决方案就是用这些“模块”搭建的完整模型。

　　通用大数据平台，储备的标准化积木模块

　　对于积木模块而言，关注两个要素，一是模块的丰富性，二是模块的标准化程度。与之相对应的，大数据平台的核心要素也是两个方面：功能的丰富性，以及每项功能的优化程度。
 

　　如上图所示，积木模块有很多，有长方形、正方形、三角形、圆柱形等等，相同形状的模块还要有不同的大小和颜色。只有拥有丰富多样的模块，在搭建积木时才有足够的原料。大数据平台的“原料”，就是各个细分的功能组件。从大数据的全生命周期而言，包括数据收集、数据清洗、数据存储、数据管理、数据分析、数据可视化、数据应用几个方面，另外还有数据安全，每一部分又都涵盖大量的功能组件。作为一个通用的大数据平台，还需要考虑到与其他数据平台的连接，形成标准的API接口。
 

　　大数据平台不仅要有丰富的功能组件，每个功能组件的优化程度也很重要。还是以积木模块为例，如下图所示，对于同一个三角形模块，右边的显然比左边的更标准一些。同样的，对于每项功能组件，其性能也存在很大差异。
 

　　怎样的大数据平台才是比较好的呢?我们可以从功能丰富性和功能优化程度两个维度来考虑，并通过对专门的性能测试来对一个大数据平台进行综合评价。实践方面，中国信息通信研究院近期组织了一次对国内大数据平台的公开评测，从2016年7月20日开始，包括华三、腾讯云、东方金信、星环信息科技、百分点在内5家厂商的大数据平台在中国信息通信研究院提供的32台服务器集群上进行性能测试。该评测从功能点、运维管理能力、可用性、安全性、兼容性、多租户和扩展性等7个维度的38项指标对大数据平台进行考察。值得提出的是，东方金信是第一批通过大数据产品认证的企业之一，旗下产品SeaBox海盒大数据平台v1.0也成为首批通过测试的6款产品之一。

　　东方金信自主研发的SeaBox产品系列是一个基于分布式架构，集数据实时计算、分布式数据存储、大数据挖掘、计算分析和可视化的大数据平台。在性能方面，Seabox大数据平台在实现高效、实时处理技术的同时，形成了自身的一些特色，比如分布式数据仓库、多图形多种类的展示方式、通过多租户应用完成大数据与云的结合等。

　　行业解决方案，完整的积木模型

　　有了积木模块之后，下一步就是搭建积木模型了。这一步中很重要的就是要有关于模型的知识，比如要搭建一座房子，那关于房子的知识越丰富，搭建起来的模型就越生动。就大数据而言，积木模型就是满足用户需求的解决方案。要解决用户真实的需求，除了有通用的大数据平台外，还要对特定行业领域的业务知识有深入的了解，也就是你不仅要有“砖头”，还得知道怎么建“房子”。
 

　　如何判定不同解决方案的优劣呢?还是以积木为例。同样是搭建房子，上图中的两栋房子差别就很大。左边的十分简陋粗糙，而右边的则很漂亮，并且细节处理到位。都用的差不多的基础模块，是什么造成了这样的差别呢?——是搭建者心中不同的建设蓝图。只有对房子的样子有完整清晰的印象，才能搭建出如此漂亮的成果。

　　同样的，对于行业和业务知识的理解深度不同，最终形成的解决方案就会存在很大差别。技术只有与行业知识和具体业务流程相结合，才能解决用户问题，为其创造真实的价值。不然，就会像上图左边那栋房子一样，只有一个简陋的架子，却无法发挥实际的价值。

　　行业之间的差别很大，不同行业对大数据厂商的需求点也不同，如何用通用的大数据平台来解决不同行业用户的特性需求呢?我们以东方金信的一个政务大数据方案为例，来看看具体的实施路径。要搭建政务大数据方案，首先要明白政府对大数据的核心诉求是什么，也就是政府引进大数据系统是为了解决哪些方面的问题;其次，要有丰富的政务知识，对政府运作机制和政务流程有深入的了解。一般来说，政务大数据是为了帮助政府完善政务信息、人口数据信息、企业资源信息、宏观经济信息等各类信息的存储与交换，实现信息资源跨区域、跨层级、跨部门的互联互通、融合共享，为政府统筹规划和科学决策提供支撑，进一步扩展民生服务和社会管理领域的各种应用，提升政府精细化管理水平和公共服务保障能力。针对这样的需求，东方金信搭建了如下的政务大数据系统。
 

　　从上图可以看到，这套大数据系统涵盖了数据全生命周期。从委办局、物联网、企业等各个数据源采集数据，然后通过一系列的分析处理，最终形成“智能办公数据服务系统”和“政府数据开放平台”两个具体应用。通过这套政务大数据系统，实现了如下的价值：为该省建立了一套适用的大数据应用和发展的标准规范体系;重塑数据来源通道，规范了数据入口和出口，减少工作人员重复采集的人力支出;成为各委办厅局大数据共用的基础技术平台，降低数据协调费用和系统建设成本;构建覆盖全省的全息数据库，包括全息人口库建设、全息法人库建设、主题人才库、贫困人口主题库等。

　　既做平台又做解决方案，一体化是为了降低交易成本

　　上面谈到大数据平台和解决方案，对于一个大数据厂商而言，在具体的实践过程中会面临一个选择：是专注于大数据平台和大数据方案的某一个，还是两方个都做?虽然这个问题没有一个特定的答案，不同厂商会根据自身的能力水平和战略定位作出不同的选择，但越来越多的厂商倾向于既做大数据平台又提供解决方案。就像积木模块和搭建积木模型一样，大数据平台和解决方案是相对比较独立的两个方面，为什么要两个方面都做而不是专注于一个方面来形成竞争优势呢?

　　科斯先生的交易成本理论，也许能给我们一些启发。交易分为内部交易和外部交易，内部交易就是通过企业内部的分工合作来完成不同的业务环节，外部交易即通过市场的手段来进行合作。选择内部分工还是市场的方式，决定因素就是交易成本，哪种方式的交易成本更低就选择哪种。就大数据领域而言，基于成本和效率的考虑，越来越多厂商选择用内部分工的方式来处理平台和解决方案的关系。以东方金信为例，对自己动手搭建的平台更加了解，构建行业解决方案时更得心应手，对于用户提出的需求也能更快速地进行反馈，这无疑提升了用户体验。另一方面，具体的实施过程也能对平台的性能提供反馈，比如在实践中发现大数据平台存在的问题和不足，进而对平台进行快速地优化。无论是通过平台构建方案，还是通过方案实践完善平台性能，通过内部协调的方式都比外部合作更为高效。所以，大数据厂商倾向于既做通用平台又提供解决方案，换言之，积木和模型都是自己动手。

　　OneMoreThing，让大数据的星星之火烧得更猛烈些

　　我们现在正处于科技高速发展的时代，各个领域的创新层出不穷。相对于其他领域的创新，我始终对大数据情有独钟，并坚信大数据的未来是“星辰大海”。要判断一项技术或者产业有多大潜力，就企业发展本身来看是一个方面，但更重要的是它对于整个社会的价值。如果有什么技术能对社会带来巨大的改变，大数据肯并是一个很有竞争力的选手。为什么这么说?就以政务来看，大数据将有巨大的潜力带来彻底的改变。

　　我想大多数人都有找政府机构办事的“难忘经历”，不仅从他们的服务中完全感受不到一点人民公仆的态度，还会经常出现一些“怎么证明你就是你”这样让人啼笑皆非的问题。要忍受政府工作人员高傲而冰冷的态度和极其低下的办事效率，真是对人耐性的极大考验，总感觉内心有“洪荒之力”要爆发。要改变这一现状，有两样东西必不可少：一是政府要有改变的意愿，二是政府要有改变的能力。应该说，这届政府还是有改变的意愿的，那么下一步就是怎样才能有改变的能力。通过什么样的工具和方式能提高他们的办事效率?——答案是大数据。

　　上面讲到过东方金信的一个政务大数据案例，通过大数据的应用，可以提升政府的信息化水平，打通各个信息孤岛，在统一的数据平台上形成信息共享和数据融合，进而提升其低下的治理水平，更快对公民的需求作出反馈。单是提升政府效率这个方面，大数据就已经“功德无量”了。所以，我是以一种热切甚至是渴望的心情，盼望大数据能尽快在政府用起来。

　　将视角放得更大些，每个国家要崛起都需要一定的机遇。工业化实现了英国 “日不落帝国”的梦想，二战和信息化让美国崛起成唯一的超级大国。那么不禁要问，中国的崛起的支点在哪里?要成为中国崛起的支点，需要满足两个条件：第一，技术和产业本身很重要，潜力巨大并且影响深远;第二，中国与其他国家的差距较小，有实现赶超的现实可能。就这两方面而言，大数据技术和产业无疑是一个不可忽视的选择，可以满足我们对国家崛起的热切期待。

　　前段时间看了一个台湾综艺节目，节目中讨论中国大陆的互联网科技发展，尤其是支付手段方面对于台湾的全面领先。我是怀着激动的心情看完这个视频的，先上几张图让大家感受下。
 

　　我们知道，在台湾人和香港人眼中，大陆一直是“穷亲戚”，尤其是他们一些政客和艺人的某些言论，真的有点刺痛了自尊。古语云，知耻而后勇。正是这些言论和事件，让我越来越感到在经济和前沿科技领域取得领先的迫切。希望有一天，我们在面对台湾同胞时，能理直气壮地说句“瞧瞧你们那政府的办事效率，瞧瞧你们企业那经营效率，瞧瞧你们那科技水平，再瞧瞧我们的，看在同胞的份上，还是让我们来教教你们什么是大数据吧”，想想那个画面都有点激动。

　　与传统的互联网相比，以云计算、大数据、人工智能为代表的下一代科技浪潮会对人类社会带来更大的变革，这是中华民族崛起的绝佳机会。尤其是大数据技术的广泛应用，对于中国的产业升级大有裨益，希望中国的大数据厂商再加把劲，让大数据的火燃烧得更猛烈一些。我们没有什么可失去的，却有很多值得期待。

　　人物简介

　　杜伟杰，北京东方金信科技有限公司联合创始人，兰州大学计算机硕士，先后供职于中软、中联、高伟达等公司，拥有13年金融行业数仓、BI经验，擅长团队组织、规划咨询、数据分析、BI产品等。曾管理200人规模的数据团队，负责组织多个BI产品的研发。服务过的客户包括央行、建设银行、交通银行、邮储银行、东亚银行、各类商业银行及农信社等30余家。
 

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。