您现在的位置是:首页 > IT基础架构 > 软件与服务 >
商务智能在我国的发展现状、问题及其对策
2009-09-28 23:13:00作者:胡翠华 陈登科 来源:
摘要商务智能(BI)的特点是使人们能从鹿大而又整杂的业务数据中提炼出有规律的商业信息,为商业决策提供依据。本文以BI技术为研究视角,分析其适合发展的行业、班在国内的市场规模、国内外BI厂商,以及BI在我国的发展机遇与存在的问题,并针对现状、问题提出对策。...
1 引 言
商务智能(Business Inteligence,以下简称BI)最早由Gartner Group于1996年提出,当时将BI定义为一类由数据仓库(或数据集市)、查询报表、联机分析、数据挖掘、数据备份和恢复等部分组成的,以帮助企业决策的技术及其应用。后来IDC、IBM、Miomsoft、SAP、SAS、MSTR、DWReview分别从不同的角度来定义BI。这些不同的定义大致可以分为四类:(1)以Gartner、IDC、IBM、SAP、MSTR为代表,将BI定义为工具和技术的集合;(2)以DMReview为代表,将BI定义为过程;(3)以SAS为代表,将BI定义为智能和知识;(4)以Microsoft为代表,主张BI是一种努力。参考众家观点,结合信息管理思想,本文拟对BI定义如下:BI是一种从组织历史数据中整合数据,提取信息,加以分析,形成知识或情报,从而帮助组织了解运作状况并进行分析、预测、计划的方法和过程。BI是一种技术、应用,更是一种商业行为。基于此,本文考虑以BI技术为出发点,分析其适合发展的行业、国内BI发展现状、机遇与问题,并提出几点发展建议。
2 商务智能的技术架构
目前,MIS、MRP/MRPⅡ、SCM、CRM、ERP等系统的数据处理均属于联机事务处理OLTP(On-Line Transaction Processing),是基于传统关系型数据库的主要应用,是基本的日常事务处理,如电信通话记录。银行交易记录等。BI的作用是从这些系统中,抽取整合数据到一个分门别类、存放整齐、有索引清单的“特殊的数据库”中,该“特殊的数据库”即为“数据仓库” (DW),然后在数据仓库的基础上,生成报表,进行联机分析处理OLAP(On-Line Analytical Processing)、数据挖掘(DM)、绩效管理(BPM)及其他各种专题应用。其数据抽取与利用的流程可用图1表示:
上图左边属于OLTP应用范畴,是BI所需的原始数据来源,通常为关系型数据库,比较老的信息系统还采用格式文本或记录文本方式,还有些信息系统采用XML等方式,所有这些数据保存方式的作用都相当于数据库,故统称为“数据库”。
与关系型数据库以事务处理为目的不同的是,数据仓库主要以分析处理为目的,它是一种面向决策主题、由多数据源集成、拥有当前及历史总结数据,并加以适当的组织、以读为主的数据库系统。分析处理的特点在于基于历史数据,针对某种实体或者事件进行多方位的观察,从中得出一些潜在的规律,甚至对未来作出预测。数据仓库由数据库(DBMS)、数据(Data)、索引(Index)三部分构成,这里的索引就是图1所示的元数据。元数据(Metadata)是关于数据、操纵数据的进程和应用程序的结构和意义的描述信息,其主要目标是提供数据资源的全面指南。元数据不仅定义了数据仓库中数据的模式、来源以及抽取和转换规则等,而且整个数据仓库系统的运行都是基于元数据的,是元数据把数据仓库系统中各个松散的组件联系起来,组成一个有机整体。按照用途,元数据可分为技术元数据(Technical Metadata)和业务元数据(Business Metadata)。此外,数据库中的数据转化到数据仓库中的知识信息,ETL的作用必不可少,ETL(Extract、Transfomt、Load,抽取、转换、装载)是一种数据整合技术,其作用机理一般采用ETL Agent方式。
上图右边是BI的分析应用部分。OLAP使得应用者能够从多角度对数据进行全面、深人地观察和分析。更专业地,每一个观察的“角度”,称之为维(Dimension),OLAP是一种多维数据分析工具的集合,其多维分析操作有钻取(roll up和drill down)、切片(slice)和切块(dice)、以及旋转(pivot)、dril across、drill through等。我们可以这样来理解维,“每个营业部每个销售员过去几年在不同产品上的销售量与销售额”这句话,包含了营业部、销售员、时间、产品、销售量、销售额等6个维。“每个营业部每个销售员过去几年的每个月在不同产品上的销告量与销售额,就是对时间维的向下钻取(drill down),也就是改变了维的粒度。Gartner Group、SAS等都对DM给出了不同定义,实际上,这些界定大同小异,通俗理解,DM是在大最数据中发现知识、规则、规律的一种方法,它需要使用模式认知技术、统计技术和数学技术。所谓BPM,就是对一系列指标的计划、实际值进行考评,其概念模型基本包括“度量、指标、考核主体、计划值、实际值”等,常用的表现方法有平衡积分卡、仪表盘等。专题应用是根据诸如市场细分、销售预测、客户挖掘等不同需求设计的各种面向主题的应用。
3 商务智能的适用行业分析
从BI的定义与技术架构分析可以看出,它最大的特点是能从庞大而又繁杂的业务数据中提炼出有规律的信息、知识,便于决策者针对这些市场信息和商业情报做出准确的市场判断,制定合理的商业行为。因此,BI最适合在有海量数据的行业中大力推广与应用。基于此,川适合有以下任一特征的行业:(1)企业规模大,如电信、银行、证券、保险、航空、石化等,这些行业中的企业往往是航母型的,企业运营资本高,员工多,有众多的分、子公司分布在不同地区,甚至不同国家,每日产生的业务数据、往来数据量大、多、杂,员工变动和绩效管理非常重要;(2)客户规模大,如电信、银行、保险、航空、零售等,这些行业企业客户基数大,每日新增客户与流失客户也多。稳定客户与流星客户的判定对于企业经营非常重要;(3)产品线规模大,如制造、零售、物流等,这些行业牵涉到的上下游产业链长,每日急剧变动的业务数据、财务数据、客户数据等对于产业链的影响大;(4)市场规模大,如电信、银行、保险、零售、物流、航空等,这些行业的销售额高,用户群大,用户争夺激烈,现金流量的波动对干企业发展非常重要;(5)信息规模大,如电信、银行、证券、零售、物流、航空、咨询、C2C或B2C企业、网游等,这些行业产生的信息量大,增长快,信息更新换代频繁,时效性强,信息对企业营运影响力大,有时甚至是企业的生命线;(6)某些政府部门,如军工、公安、工商、财税、统计、社保、计委、经贸委等,这些部门信息量大,有些信息甚至关系到国计民生,信息的保密性要求高。
4 商务智能在我国的发展现状
4.1 我国的BI市场规模
据赛迪顾问报告,2003~2006年中国BI软件市场销售额和增长率数据整理见表1,对销售额进行拟合得图2。可见,BI市场增长处于S曲线起飞阶段,未来几年将会有更快速的发展。赛迪顾问认为,未来5年中国商业智能软件市场将呈现高速增长的势头,年复合增长率将达到39.0%。
4.2 BI企业
BI在中国诱人的市场规模和良好的发展势头,极大地刺激了国外BI厂商大规模进驻中国,也激励了国内BI企业的发展。目前,世界著名的BI厂商大都已进人中国,如Business Objects(简称BO)、Hyperion、Cognos、SAS等,他们在中国设立分公司、办事处,与代理商合作进行市场开发,厂商之间的竞争也非常激烈,重组并购,市场份额变动频繁。如法国的BO在2003年12月收购加拿大Crystal Decisions(一家专业致力于报表的软件公司),全球市场占有率遥遥领先,是目前最大的BI厂商。美国的Hyperion在2002年进入中国,于203年7月收购Brio,成为全面的BI解决方案提供商。Brio是最早进入中国的主流BI厂商,目前在中国的市场占有率最高。2007年2月28日,Hyperion又被Oracle收购。加拿大的Cognos成立时间最早(1969年),专注于BI解决方案,其名下有Powerplay、Impmmptu、ReportNet等一系列BI产品。SAS早在BI产品备受关注之前,其SAS分析软件就被各行业广泛用作统计分析工具,《财富》前100名公司中有98家使用它的软件,国内众多金融机构与电信运营商均是其用户,宝钢是其最典型的传统企业用户。国内的软件厂商也纷纷推出BI产品,如明基逐鹿公司的Analyzer BI、上海博科的“财务智能仓库”等。与国外BI相比,国内BI还处于初级阶段,在系统二次开发、系统功能设计和客户认知度上都有较大差距。这与国内大多数软件商定位于BI咨询顾问和BI系统集成商、本身不开发BI也有关系。当然,国产软件也有不可替代的优势,如更了解中国国情、产品价格较便宜等,另外,涉及到国家机密部门在选择实施BI时,一般首选国内软件商。
5 国内商务智能发展的机遇与存在的问题
中国BI软件市场蓄势待发,无论是宏观经济政策环境,还是市场与技术都蕴藏着巨大发展商机。从宏观经济环境看,中国经济的强劲增长势必带来企业用户对IT技术更为深入的需求。中国企业面临着如何走向国际化的挑战,通过尽快提升IT应用水平,加速战略决策,有利于与国际大企业站在同一起跑线上,BI系统建设将会是必由之路;从国家政策看,政府为了扶持民族软件产业.对软件产业给予了较多的优惠政策。随着BI在国内应用的升温,将有越来越多的软件厂商涉足BI领域,这将带动国产BI产品的快速发展;从市场需求看,BI已不仅仅是一种概念、一种技术,已经成为企业业务层面的一种需求,因为BI是管理经验的一种IT应用,企业可以通过先进的BI工具,引进最吻合企业的管理方式,让企业数据跑起来;从技术发展看,ERP、CRM、SCM、信息门户等信息化产品虽然能协助企业大幅度使用现有信息,但无法为企业所有数据资料提供一个完整的视图,无法真正满足数据分析型应用的要求,因此这些产品将会逐渐融合到BI系统中,甚至被替代。尽管如此,中国的BI市场发展也存在一些问题,如:
(1)国内BI市场混乱,产品实施与服务出现同题
目前,国内BI市场非常混乱,主要原因是2004年以前,国际主流的BI厂商大都采用代理的方式进驻中国,只有Brio一家亲自做中国市场。代理商们恶性竞争,导致市场价格混乱,同一套系统实施下来,价格可能相差很大,甚至在市场上泛滥着盗版。BO在全球销售额是Brio的6倍,但在国内却只有其一半,这一事实也能说明这个问题。在这样的环境下,产生了很多产品实施和服务方面的问题。如,国外BI软件往往由于其昂贵的价格令客户望而却步,有时候也因国外BI产品在国内水土不服导致出现各种实施和服务问题,甚至产生客户抱怨。而国内BI厂商虽然有熟悉中国国情的优势,但由于起步晚,各方面比较薄弱,产品难以令客户信服。
(2)缺乏规范
BI实施的特点是数据一旦抽取整合到数据仓库中,BI的系统结构就相对稳定。数据仓库部分的理论研究与模型建立相对比较成熟,而数据的源头部分,由于其第一手数据是从MIS、MRP/MRPI、SCM、CRM、EBP等基于业务处理的信息系统中抽取整合到数据仓库中的,而目前的这些基于业务处理的信息系统,本身就缺乏标准,各种原始数据的结构百花齐放、千差万别,甚至同一个厂家的信息系统的不同产品,同一个产品之间的不同模块,同一个模块的不同版本的数据都是不统一的。所以,对于BI系统的实施,数据抽取整合的工作量非常大。
(3)缺乏BI人才
BI市场的发展潜力巨大,目前国内从事BI的企业非常少,再加上起步较晚,相应的专业培训机构还没有形成,导致国内缺乏足够的专业人力资源。而且,在为数不多的国内BI企业中,绝大多数还只是在客户需要时,以BI系统集成商的身份兼顾一下。数据仓库、数据挖掘、商业建模等领域的人才相对缺乏,复合型的BI人才更是难觅,难以满足BI市场的快速发展而带来的BI研发、咨询、实施、维护等人力需求。而国外BI厂商近两年来大规模直接进入中国市场,更是以高薪挖掘BI人才,但也往往招聘不到合乎条件的人选。
6 国内商务智能快速发展建议
6.1 从信息流的上游到下游进行规范化整合
由于BI信息流的上游是异构的,而且数据往往分布在企业或机构的不同部门、不同分公司或营业部,甚至不同的国家地区;更难但又普遍存在的问题是,即便是同一个公司的不同部门、不同分公司子公司之间,采用了不同厂家的信息系统,各产品的搭配和组合还不一样,在这种现状的基础上,要实施BI,要让系统能够满足这些错综复杂的异构系统,必须从“保证抽取整合之后的数据格式是统一的”这个目标着手建立系统架构,并且要做到点对点的分布式的异构到同构处理。因此需要对数据仓库的元数据制定一些规范的行业标准或国家标准进行深入研究。
6.2 从信息流的下游到上游进行规范化指导
针对目前BI中DW、OLAP等相对稳定和成熟这一现状,可以在MIS、MRP/MRPⅡ、SCM、CRM、ERP等基于业务处理的信息系统初步实施或者升级换代的初期,就高瞻远瞩地考虑为BI系统的抽取整合工作做一些统筹规划。根据DW对原始数据的抽取整合特点,制定一个业务处理系统的元数据行业标准或国家标准,有助于提高不同业务处理系统之间、业务处理系统和BI系统之间的祸合度,降低产品实施难度和产品服务难度。这样,让不同分公司子公司、不同部门采用不同的业务处理系统的不同组合,都能有统一的元数据结构能够大大降低各系统之间的异构性,大大增强商务智能系统的处理能力和灵敏度。例如,可以对DW建立标准的维表库。
6.3 建立国家重点行业BI元数据标准,扶持国内BI厂商
针对关系到国计民生的重点行业和关系到国家机密的机构与部门,如军工、财税、社保、计生、统计部门等,建立国家标准,扶植国内企业。国外的软件公司在中国水土不服、国外软件的昂贵价格也给国内企业留下了契机,可以通过对国内软件行业进行政策扶持、建立科研机构等方法,扶持国内BI软件商的发展和研究,帮助国内BI企业快速赶超国外BI厂商。
6.4 提高公众的BI认知度,建立BI人才培养机制
通过提高公众的BI认知度,提高企业的BI应用水平,从而提高企业的运作效率,促进企业对BI人才的重视和培养。同时,可以通过产、学、研结合,成立专门的BI研究室,协助企业培养BI人才。
(本文不涉密)
责任编辑:
上一篇:数据挖掘在精细化营销中的应用研究
下一篇:智能企业门户的关键技术研究