您现在的位置是:首页 > 头条新闻 >
如何走出伪BI陷阱
摘要企业面临着在任何时间、任何地点,以多种方式向有需要的人提供具有价值的信息的压力。遗憾的是,能满足这类要求的商业智能技能寥寥无几。...
企业面临着在任何时间、任何地点,以多种方式向有需要的人提供具有价值的信息的压力。这就要求企业能够收集、合并、集成信息,并确保这些信息能够以最及时的方式有针对性地送到有需要的用户手里。遗憾的是,能满足这类要求的商业智能(BI)技能寥寥无几。
实施商业智能已经成为CIO们的头等大事。Gartner公司副总裁Donald Feinburg认为:“到2012年,商业智能在每个商业应用中将占到85%的比重。”但相关统计数字显示,在国外,投资建设BI的企业有60%~70%以失败告终,而在中国,这个数据可能会更高。部署BI难以成功的根本原因在于伪BI——大家对于BI的误解。
此次,我们推出“如何走出伪BI陷阱”专题,通过厂商、CIO、专家对伪BI的分析,来深刻剖析企业部署BI失败的原因,为企业成功实施BI指点迷津。
伪BI 之一:BI只能分析结构化数据
BI以往总是专注那些最易获取的数据,即以流程为核心的结构化信息——存储在内部数据库中的数字和文本。而据IDC的预计,全球每年产生的数字化信息中大约有95%是非结构化信息。非结构化信息是指因载体含糊而在电脑中混乱存在的信息,即无法在记录和字段格式中定义的信息,即时信息、电子邮件、散乱的文件、语音信息包和监视摄像机视频流中的像素,都属于非结构化信息。
非结构化转为结构化
确实,目前我们所见到的BI系统或者说我们所了解的实施过BI的企业,所做的都是针对结构化数据的分析,对于非结构化数据的分析处理少之又少。但这并不代表用户对非结构化的信息分析没有需求,只是进行分析的难度太大和实现所需要的投入太高所造成的。
对于国内的企业而言,信息系统建设多停留在基本业务系统的构建阶段,如采购系统、ERP系统、知识管理系统等。由于企业内的数据信息越来越规范,对于跨系统的信息处理的需求逐步产生,这样就加速了对于BI系统进行建设的需求。他们迫切需要处理的是存储在业务系统中的结构化数据,这样的方式在很大程度上可以满足企业内部管理者的实际需求,同时能够比较快地看到实施BI所带来的效果。
而非结构化的信息的价值不可否认。用户在实际的业务分析和决策过程中,通过结构化数据的分析加上所了解到的非结构化信息进行综合判断来辅助决策。
那么,BI就只能分析结构化的数据吗?答案是否定的。
事实上,众多的BI厂商在不断完善BI对非结构化数据的处理机制,以方便用户能够方便、有效地分析这些非结构化数据。目前多采取的方式是通过文本分析/内容分析工具将需要处理的非结构化数据按照设定的数据抽取规则转化为结构化存储的数据,来达到对非结构化数据进行分析的目的。
(AMT Consulting 高级顾问文建明)
搜索、管理非结构化信息
在企业中,除了结构化信息之外,通常还存在大量的非结构化信息。企业员工在日常工作中,都大量使用和依靠着这些非结构化信息,并基于这些信息进行商业决策。
Microsoft Office SharePoint Server 2007中内置的文档管理和档案管理等组件,能帮助企业有效地管理各种非结构化信息。通过实施档案管理系统,企业能够有效地将各种非结构化信息进行分类归档,并通过应用企业的各种信息管理策略来对企业的非结构化信息进行有效、安全的存储与管理。
同时,Microsoft Office SharePoint Server 2007中的企业搜索服务能够帮助企业员工迅速对各种非结构化信息进行搜索。企业员工能够使用基于元数据,或者用全文检索的方式查找到自己所需的信息和数据,而SharePoint内置的安全过滤机制保证了每个员工都只能检索到自己有权限查看的信息,以避免企业敏感信息的泄漏。
配合有效的管理和强大的搜索能力,企业员工就可以将企业中的非结构化信息作为一种有价值的资源,随时加以利用,让它们能够帮助企业员工更快速、明智地做出商业决策。(微软 涂曙光 吴龙)
对BI如何正确定义
如果按照狭义的BI定义,也就是我们对BI概念传统的理解,它是指用数理统计学的方式对我们现有的数据进行综合统计分析,找出规律性的东西,以辅助我们决策。在这种定义下,一般用的就是结构化的数据。事实上,目前流行的BI分析工具,比如BO、Cognos、BRIO、Microstratige、Hyperion、SaaS、SPSS等,都是针对结构化数据做的。
如果按照广义的BI定义,也就是从BI泛指用计算机辅助人进行信息处理的角度讲,它就不一定是只处理结构化的数据,还可以处理非结构化的数据。有些情况下,BI可以分析非结构化的数据,如针对Word文档或网页搜索到的字的频率等。再比如一些特殊的应用,例如分析奥运场馆,比如鸟巢在发生突发安全事件后人员如何疏散的问题,采用特殊的数学模型来模拟各点起火时的情况,就是一个典型的BI应用,而且分析的数据绝对是非结构化的。还有例如涉及语音和图像识别这样的应用,它们处理的也不是结构化的数据。
目前企业ERP系统中都是结构化数据。双汇BI系统中的数据都是结构化的。我们把ERP系统里面的数据提炼出来,形成一个多维数据仓库,用一个BI工具进行分析,并实时在线直观地展现给管理者。如果管理者要看预算完成情况或者计划的利润实现情况,可以点开相应的页面查看,这时系统把当前的利润数据展示出来,并与预算值进行比较。如果数值是在计划范围内,就显示为绿色;如果超出正常范围,就会显示为黄色或红色。管理者看到这种不正常的数值,就可以直接知道企业运行出了问题,他就可以从这个数据点进去,查看具体出问题的地方。
也会有更深入的层次应用例子,比如系统可能显示出其他各个事业部的运行指标都在正常范围内,只有物流事业部的指标出现了黄色或红色。于是使用者再点击物流事业部,系统就展示出它下面又有哪几个部门,是哪个部门出了问题。这样一层一层一直“钻取”到问题发生的最终根源所在。这就是一种很直观的BI应用,它给使用者提供的不是枯燥的数据,而是一些形象生动的分析结果。
(双汇集团CIO 刘小兵)
伪BI之二:BI只能分析静态信息
其实对企业真正有用的是一些实时的信息采集和分析,企业根据这些信息才能做出及时的决策。
静态+近实时
“BI只能分析静态的信息”是对BI比较片面的认识,看到的是BI在实际商业应用中的表面现象。因为多数企业实施的BI系统,给用户使用的数据信息确实是相对静态的、按照一定时间规则进行更新的信息,但这并不代表BI只能分析静态的信息,实际上BI整个的系统架构是可以分析实时信息的。
那么,为什么这么多企业实施BI不选择进行实时信息分析的方式呢?
主要有以下两个原因:一是管理分析的具体要求,二是企业信息系统现状及系统投资成本。
管理分析的具体要求
企业内部不同层级的BI用户,对信息分析的实时程度要求是不相同的,基本体现为从基层人员到中层人员到高层人员逐步弱化。当然,也不排除中层和高层在某些信息分析领域有较高实时性的要求,比如对库存的关注等。由于BI中各层级人员信息分析需求的特点不同,在详细的BI设计中就需要充分考虑不同层级人员在具体信息分析上实时性要求的差异,这些将直接决定BI中各个业务分析主题的合理安排和ETL(Extract-Transform-Load)对数据进行抽取、清洗、加载、转换的策略和具体规则。
企业信息系统现状及系统投资成本
由于各个企业在实施BI时的信息化环境或信息系统建设的方式不同,导致BI在实施的进程中解决信息分析的阶段性内容不同,进而导致BI在对信息分析采取静态信息分析还是实时信息分析的策略选择上不同,且付出的成本不同。
一种策略是单一系统,简单分析主题需求的情况,可以采取实时分析的构建方式。如果用户使用的是单一的系统,所有信息都在一个业务数据库中,面临的是一些简单的分析需求,不需要BI系统进行复杂的数据计算和转换过程。这类BI的设计过程相对简单,一次生成业务系统中BI需要的分析信息,通过BI前端展现工具进行访问展现即可。
另一种策略是多系统、复杂分析主题需求的情况,可以采取静态分析或者静态加近实时的组合构建方式。如果用户的数据信息来源于多个系统的综合体现,需要BI进行复杂的计算和加工才能呈现给用户使用,如果用户对实时性要求不高,则可以采取定时更新的方式来静态展示信息。如果用户确实存在一些时效性要求比较高的信息分析需求,可以将这一类需求单独建立一个主题进行处理,并匹配可调整的ETL机制来保障数据信息处理的时效性。但一般企业不会花高成本去建立完全实时的BI主题,采取的方式为近实时的方式,如对于库存数据的更新每小时一次。
下面是一个“静态+近实时”组合的方式构建BI的案例。
某企业经过多年的信息化发展,构建了多个信息系统,比如其生产企业用的是CSS系统+JDE系统,营销公司用的是KMIS系统+KMS系统,贸易公司用的是采购系统。
而在实际的BI系统需求构建过程中,管理者提出不同的业务分析主题和对数据时效性的要求,且要求实时看到订单的信息。为满足上述需求,企业信息中心在构建BI的设计中下按表1中所列方式来开展。
(AMT Consulting 高级顾问文建明)
动态企业智能呼之欲出
自1991年Bill Inmon提出数据仓库的概念以来,很多企业已经建立了企业级的数据仓库。在传统的数据仓库建设中,往往采用ETL的步骤,以某个时间段为频次将当天发生的业务数据从业务数据库中抽取出来,通过清洗和加载,加载到数据仓库中。在这种情况下,企业的管理人员最多只能够在第二天上班的时候看见前一天企业运营的各个方面的情况。
随着业务需求的不断变化,构建在数据仓库上的应用除了高层管理人员的分析型应用之外,还有面对一线业务处理人员的分析型应用。我们把前者称为战略性分析,把后者称为战术性分析。这种战术性应用往往要求有比较高的频率和响应速度。战术性应用最典型的例子就是客服人员在接听电话时不但能够查看到某个用户的最新交易、投诉等信息,也能够看到该用户所有的历史交易、信用和积分,还能够通过决策支持模块知道应该给该用户推荐什么样的新产品,帮助用户办理业务等。如果这类BI应用依然停留在传统的针对静态数据的分析,必然无法支撑一线业务人员的需求。
从上面的介绍中,我们可以看出这种战术性决策支持需求给BI带来了新的影响。这种影响主要体现在动态数据获取、动态数据访问、动态企业应用集成、动态事件、动态任务管理和高可靠性等六个方面。Teradata的Active Enterprise Intelligence (动态企业智能)解决方案就是针对这种动态数据的BI需求而提出的。这一解决方案在航空、速递等动态BI需求较多的行业得到了广泛的应用。
美国的一家航空公司,当某个航班发生延误或者取消这种信息被BI系统捕捉到以后,航空公司立刻通过对这个动态信息的分析,得到这个航班上的所有客户的价值。来针对不同的客户采用不同的处理策略和后续的安排,以便将损失减少到最低。
在某著名的跨国快递企业,用户的包裹数据每到达一个新的地点就会进入BI系统。通过对每一个包裹的状态进行分析后,系统会知道该包裹是否可能会被延误;如果该包裹按照原定的路线会产生延误的话,是否有更快捷的途径能够送到客户手中;如果该包裹已经确定延误的话,客服人员将第一时间与客户联系,以便减小客户的抱怨,改善客户满意度。
越来越多的行业和客户都已经看到了传统的针对静态数据的分析难以满足业务发展的需要。银行、电信等行业在BI发展的过程中也逐渐出现了这种针对动态数据的分析。在国内,目前也已经有很多客户走上了动态BI发展的道路。这些系统的出现为提高企业的竞争力,改善企业运营提供了坚强的支撑。(Teradata 张新宇)
伪BI之三:BI是领导者专有工具
长期以来,BI似乎都是企业领导者和财务管理人员的专用工具,为高层决策提供必需的信息。其实,广大的一线人员更需要BI为他们在日常运营的具体操作中提供及时、迅速、有效、直接的指导。
对应主题搭建报表
可以肯定的是,BI不是领导者的专有工具。BI工具使用的最终目的是帮助企业建立进行业务辅助决策的平台。他们只要一线人员需要BI为其日常运营工作提供数据支持,BI工具的使用就应该开放给他们。实施BI的企业要做好两方面的准备。一方面是对BI多用户环境的考虑:如果将BI系统开放给一线人员,必须要考虑到多用户大量集中访问BI系统的大数据量查询的要求,对BI中数据集合的设计充分考虑多用户大访问量的需求。另一方面是考虑BI系统用户许可的成本:目前大多数BI工具是通过用户许可的方式来开放系统的使用权限,当企业需要将BI开放到一线人员的话,用户许可的购买将大量增加,这部分成本支出也是需要考虑的。
以下是一个BI工具开放到一线人员的实际案例。某企业针对内部BI的需要构建了满足不同需求的分析主题(如图1所示),并针对各个分析主题搭建了对应的报表体系,针对报表体系,开放权限给不同用户角色(如表2)。
(AMT Consulting 高级顾问文建明)
BI嵌入前台与即席查询
BI刚刚兴起时,技术上仍存在一定的局限,应用上也处于探索、尝试阶段。BI项目的实施人员往往选择少数的管理决策人员作为试点用户,以期得到高层领导的认可和支持。因此,早期的BI应用以EIS(Executive Information System)、关键指标仪表盘(KPI Dashboard)和多维报表为主,为高层领导提供决策支持信息,或为财务人员提供多维度的分析报表。随着BI技术的进步和市场需求的不断冲击,在BI建设上有一定积累的企业已不满足于多维报表、关键指标的应用,开始考虑如何将企业积累的大量信息用于市场营销、客户服务等领域,以充分发挥数据仓库的业务价值。BI信息嵌入前台业务系统和面向业务人员的即席查询应用是BI支持业务一线的两种常用模式。
在银行业,BI信息嵌入前台业务系统的典型案例是数据仓库与客服呼叫中心的数据交互整合。具体实现方法是基于数据仓库的客户信息和大量的交易历史,加工、提炼出客户的衍生信息和行为趋势,如细分族群、渠道偏好、贡献度、违约概率,以及还款提醒、产品购买倾向、存款到期和理财投资建议等信息,将加工好的信息嵌入到呼叫中心系统中,一旦客户打电话到客服中心,客服坐席人员可以在解决客户的问题之后,立即根据BI提供的信息为客户提供个性化的服务和有针对性的交叉销售,实现前端客服系统的智能化。
即席查询(Ad-hoc query)是BI在业务一线应用的另一种重要模式。国外先进银行在数据仓库建立起来后,纷纷建立其业务智能单元(Business Intelligent Unit),简称BIU。BIU由精通业务、熟悉信息分析技术的分析人员组成,他们凭借丰富的行业知识和经验,利用各种分析工具直接访问数据仓库进行各种即席查询分析,及时深入地掌握业务发展动向。他们可以通过对以往的产品销售状况和客户的行为偏好的分析,设计新产品;针对新产品进行目标客户群的分析,估算目标客户数量和活动成本、营销渠道容量,设计市场营销活动;对异常的管理指标进行深入的分析,挖掘问题所在,提出解决问题的方法等。
即席查询分析应用在发达国家已得到广泛的应用,国外先进银行尤其注重BIU团队的建设和分析人员的培养。美国一家颇具规模的银行,数据仓库的数据量达130 TB,其专职的数据分析人员超过2000人,每天提交的查询超过400万次。英国一家具有悠久历史的全球性银行,其数据仓库拥有1500名专职的业务分析用户,每天提交即席查询多达 150万个,相当于15个/秒。台湾一家拥有400万客户的银行,就有500名业务分析人员通过分析师资格考试。
今天,金融业的竞争已从资金的竞争转向信息的竞争,产品和服务的知识含量成为竞争成败的关键。国内建立企业级数据仓库的银行已有十几家,但在应用的深度和广度上,与发达国家的银行仍存在相当大的差距,要在这一点上有所突破,势必在企业内部引发一场深刻的变革,包括管理模式、组织架构、业务流程等,是一项多部门配合、长期的、综合的工作。
(Teradata 罗亦文)
正确运用BI做决策
BI不是领导者的专有工具。例如,保险业务员通过问卷形式收集信息来给客户定保单的这一过程可以叫做业务过程,也可以叫做决策过程,也是应用BI的过程。BI最大的功能是通过统计分析,帮助企业做决策支持,比如对疾病的疫情预测,天气预报,或者像双汇对猪价的预测等。智能分析股票也是BI,连锁店的收银员用的POS也是BI。
很多企业在运用BI上陷入了一个误区,这些企业的经营者只关心一件事,自己指定的报表是否能展示出来。无论是使用现成的BI工具,还是使用间接的办法,只要能看这些报表似乎就实现目标了。这使BI的很多项目的实施更加困难,因为BI工具都是对数据的灵活应用与分析,而不是单一的数据呈现与展示。所以在项目实施中,BI提供商不得不按照企业的要求,设计出大量的固定报表。如果企业一味地将眼光停留在现行的报表样式上,而忽略数据本身的价值,那么这样的BI所能起到的作用是非常有限的。
BI不只是一套软件与工具,更是建立在灵活性、快速响应和市场远见基础上的一套商业运作方法。
BI的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理,以保证数据的正确性,然后经过抽取、转换和装载,合并到一个企业级的数据仓库里,从而得到企业数据的一个全局视图,在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理(这时信息变为辅助决策的知识),最后将知识呈现给管理者,为管理者的决策过程提供支持。
但BI最终能否得到充分运用主要还是取决于企业的管理方式。BI背后所隐含的成熟的管理思想被企业领导领会才是它的最大价值。
比较中外企业的管理方式,国外的市场化发展相对成熟,企业的管理模式以及操作准则也比较理性,他们更倾向于运用实证的方式去不断验证和归纳问题,并据此做出符合惯常发展规律的经营决策。而与此相对应的是,这种通过真实的数据去帮助企业做出正确决策的方式并不是大多数国内管理者经常运用的管理思路。
当然BI永远只是一个参考,它不能完全代替决策。只有将BI与丰富的行业经验结合,企业的应用才能真正智能起来。
(双汇集团CIO 刘小兵)
(本文不涉密)
责任编辑:
上一篇:铁打的IT营盘流水的兵
下一篇:空降CIO的变与不变