您现在的位置是:首页 > IT基础架构 > 软件与服务 >

以数据仓库为基础的决策支持系统

2009-12-18 19:38:00作者: 来源:

摘要本文在分析了传统决策支持系统存在的问题的基础上,阐述了数据仓库对决策的支持,并提出了基于数据仓库的决策支持系统解决方案。 ...

在激烈的市场竞争中,对于一个企业决策者而言,掌握准确、有效的决策信息是十分必要的,然而,由于企业的数据绝大多数来源于其营运系统中抽取的营运数据,这些数据是海量的,它们的来源众多、格式各异、通讯要求也不尽相同,决策者要从中迅速而准确地获得与之决策有关的信息是十分困难的,因此,对于企业而言,决策支持系统(DSS)已不再是可有可无的东西。然而,随着企业对决策信息需求的多样化、复杂化,企业需要的是更实用的,并能对大量数据进行反复挖掘,以辅助决策者进行决策的决策支持系统。近几年来,数据库技术的发展,特别是数据仓库、联机分析处理技术(OLAP)及数据挖掘(DM)技术的产生和发展,使企业能以更好的方式来管理、综合和分析海量数据,使之转化为管理决策信息,数据仓库已成为决策支持系统的一种有效、可行的解决方案。

1传统DSS存在的问题

随着数据库应用的不断推广,对数据的处理呈现多层次的特点。目前数据处理一般可划分为两大类:事务处理和分析型处理。事务处理主要是针对数据的日常操作,以事务快速响应及频萦的数据修改为特征;分析型处理则主要用于决策分析,以支持决策,如:DSS,多维分析等。它们往往需要大量的历史数据,二者之间的这种差异使得两类数据处理的分离成为必然,因而也对传统的DSS提出了挑战。传统的DSS一般是建立在事务处理环境上的,因而其对数据信息缺乏分析能力,随着用户对信息浦求的不断增强,传统DSS存在的问题也就逐渐显露出来了。

1.1传统的DSS缺乏内在的统一性

传统的DSS是以模型库、数据库、方法库所组成的系统结构,可是在DSS的开发过程中,模型库、数据库和方法库往往被独立的设计与实现,从而使传统的DSS在系统结构上很难达到内在的统一性和完整性,因而应用效果并不理想。

1.2传统的DSS是面向事务处理的

传统的DSS所进行的数据处理是直接利用关系数据库的数据,因而DSS的开发一般都是面向以业务处理为主的联机事务处理(OLTP)应用,而不是面向分析处理应用,用户要想直接使用联机事务处理系统中的数据进行分析处理是很难实现的OLTP不适应较大规模的DSS的数据分析处理。

1.3传统的DSS缺乏强有力的工具

企业决策是一个提出问题——分析问题——解决问题的循环过程。分析的过程实质上是一种不断抽取的过程,即要对大最分散的数据进行快速综合分析,然后从中捕获与决策相关的信息。而传统的DSS往往侧重于抽象的理论,在理论上和方法上过于复杂,缺乏有效的分析工具,因而也就得不到有效的分析结果。

1.4传统的DSS没有充足数据源的支持

全面而准确的数据是有效的分析与科学决策的重要前提,这些数据不仅应包括整个企业内部各部门的相关数据,还应包括与企业生产、经营相关的外部数据、历史数据、综合数据等一般来讲,相关数据收集的越完整,得到的结果也就越可靠,而传统的DSS使用的数据库(DB)只能对原始数据进行一般的加工和汇总,致使决策所需要信息不足,难以满足DSS的需要。传统的DSS所使用的数据库具有以下缺点:

(1)数据适用面较窄:传统的DSS所使用的数据库中的数据是围绕着具体事务或为满足某些特定功能的需要来组织和管理的,因而它们只能适用于某些独立部门或工作群体,却不能为整个企业所共享。

(2)没有充足的历史数据:企业决策者在进行决策时往往还濡要分析和比较以往各个时期的历史数据,但传统的DSS所使用的数据库中的数据则是为满足一个短期的应用来存储和组织的,而缺乏充足的历史性数据以满足决策者需要。

(3)分散的数据组织:企业营运数据的收集和维护几乎都是由其相关部门来完成的,这些部门往往根据各自的需要来组织和管理这些数据,这样在整个企业中就会形成各种各样的数据库(源数据库),而早期的数据库管理系统是很难将这些分散的,各式的数据库集成一个统一的整体。

(4)数据质量差:由于数据的组织是分散的,因而在对数据进行处理时会产生大量不一致的、冗余的数据,从而影响到对数据的访问效率和处理效率。

1.5传统的DSS缺乏对数据的综合能力

一般来说在进行事务处理时会积象大量的细节数据,如果对这些细节数据进行分析必然会影响分析效率,同时分析人员也要花费大量的时间和精力而忽略了有用的信息,因此往往要求对这些细节数据进行不同程度的综合,而基于事务处理的传统DSS就缺乏这种综合能力。

2数据仓库对决策的支持

既然在事物型环境中直接构建分析型应用很难成功,那么要想提高分析与决策的效率,就必须将分析型处理及数据与事物处理及数据分离开来,即建立单独的分析处理环境,以满足分析决策的需求。数据仓库正是这样一种支持企业或组织管理决策过程的,面向主题的、集成的、随时间不断变化的管理技术,它以构建新的分析处理环境,为决策者提供信息,支持决策分析处理目标。

通常数据仓库提供的工具可分为三类:可进行日常事务操作的报表查询类工具、OLAP验证型工具和DM挖掘型工具。利用这些工具数据仓库就可以支持决策分析过程,其对决策的支持可以表现在:

2.1数据仓库侧重于存储和管理面向主题的数据

这里所讲的面向主题是指数据仓库中的数据是按决策主题进行组织,并按决策主题来提供信息的,即从大量用于事物处理的数据库中抽取数据,并将其清理、转换成决策主题所需要的格式,这种面向主题的数据组织方式可以独立于数据的处理逻辑,方便地应用于分析型处理。

2.2数据仓库是面向分析处理的,支持数据的多维分析

数据仓库的数据是从原有的分散的数据库中抽取而来的,基于用户决策分析目的的差异,决定了必须从不同的角度对数据进行分析和衡量,因此数据仓库中的数据本身就是一种多维的数据结构,以多维数据为核心的多维数据分析是决策的主要内容,这一过程可由OLAP来实现。OLAP是针对特定问题的联机数据访问和分析,它提供了多维分析功能。利用OLAP工具对信息进行一系列快速、稳定交互式的存取,对数据进行深入地分析,并以较直观的方式呈现给用户,以提供完整、准确的决策信息。

2.3数据仓库支持数据的挖掘

OLAP是一种自上而下、不断深入的验证型分析工具。它常常需以用户的假设为基础,OLAP根据假设通过对数据的查询与分析提取相关的信息,可以说OLAP是由用户驱动的,因此用户的水平可能会直接影响到最终的分析结果。

数据仓库支持数据挖掘(DataMining),是对OLAP很好的补充,因为数据挖掘可以发现OLAP所无法发现的更为细致复杂的信息。利用数据挖掘技术,用户不必提出确切的问题,就可以根据数据本身的规律自动地对数据进行分析,挖掘出数据中隐藏的模式,找出正确的决策。

由此可见,在进行决策分析时可以采用这样一种分析过程:利用报表查询类工具进行增加、删除、修改等日常事务处理,利用DM挖掘潜在模式作出预测性分析,利用OLAP验证预测结果,最后总结性分析。

3构建基于数据仓库的DSS

数据仓库与OLAP、DM的结合为解决决策支持问题提供了可能,使DSS的发展跃上了一个新的台阶,找到了以数据仓库为核心,OLAP与DM工具为手段的DSS解决方案,并形成了以数据仓库为中心的DSS见图1所示。

在基于数据仓库的DSS中数据仓库是整个DSS的基础,它从底层的事物应用处理数据(源数据库)中抽取数据,由于这些数据主要来自营运数据,它们可能分布在不同的硬件、数据库、网络环境中,为不同的业务部门服务,从结构上看,它们是相对独立的,是不利于企业决策者进行全面分析和查询的,因此必须对其进行综合、集成与转换(复制、抽取、清洗),但是如果仍然使用传统的数据共享,正规化等思路来组织和管理这些数据,是很难将这些数据转化为集中统一的、随时可用的信息。数据仓库运用了反正规化的技术,引入了星状资料模式(StarSchema)的思想,把数据集成一个统一的整体,提供面向全局的数据视图。

以数据仓库为中心的DSS的第二个重要组成部分是它的工具层,主要包括OLAP工具和DM工具。联机分析处理OLAP实现多维数据分析,它从集成的数据仓库数出发,用“切片(Shoe)、旋转(Pivot)”等方法在一个为用户预定义的多维数据视图中捕捉信息,为具有明确分析范围和分析要求的用户提供高性能的决策支持。OLAP将分析结果存储在信息库中,便于决策者通过对比多种分析结果作出更好的决策目前OLAP的实现技术主要有MD-OLAP(基于多维数据库的OLAP)和ROLAP(基于关系数据库的OLAP),这两种技术都可以满足OLAP数据处理的一般过程:即数据装入、汇总及提供使用。数据挖掘技术能自动地挖掘数据仓库中隐藏的模式,预测未来的趋势,并可以直接地用于指导联机分析处理。DM的技术基础是人工智能,它利用了统计分析、决策树、神经网络、遗传算法等人工智能中一些已经成熟的算法和技术。DM对数据的分析过程分为数据准备、挖掘操作、结果表述等三个阶段。事实上这三个过程是一个不断递归执行的过程,即只要分析人员对分析结果不满意,就可以反复执行这三个过程,直到得到最有价值的信息,并通过决策支持工具提交给决策者。基于数据仓库的DSS可以解决以下问题:(1)日常数据查询;(2)采用数理统计模型、运筹模型进行定里分析,趋势预测;(3)多维数据视图,对信息进行深入分析;(4)挖掘数据中隐藏的模式,找出它们之间内在联系。

综上所述,以模型库为主体的决策支持系统已发展了几十年了,数据仓库的出现和发展为决策支持系统开辟了新途径。数据仓库与联机分析处理、数据挖掘相辅相成,相互结合共同支持决策。随企业竞争的日趋激烈,这种新型的DSS可行方案必将得到越来越多的企业的认同和接受。


(本文不涉密)
责任编辑:

站点信息

  • 运营主体:中国信息化周报
  • 商务合作:赵瑞华 010-88559646
  • 微信公众号:扫描二维码,关注我们