您现在的位置是:首页 > IT基础架构 > 软件与服务 >
知识网格与电子商务智能推荐理论研究
2009-08-27 15:23:00作者:陈冬林 聂规划 刘平峰 来源:
摘要在日趋激烈的竞争环境下,电子商务推荐系统能有效地保留客户,提高电子商务系统的销售的有效手段。介绍了电子商务推荐技术和系统的研究现状,分析了现有技术和系统存在的质量、实时性和规模性问题,探讨了网格技术、知识网格和本体论在相关领域取得的进展,提出基于知识网格...
1引言
随着电子商务的发展,电子商务网站为客户提供越来越多选择的同时,其结构也变得更加复杂。一方面,客户面对大量的商品信息束手无策,客户经常会迷失在大量的商品信息空间中;另一方面,商家也失去了与消费者的联系。推荐技术和系统模拟商店销售人员向客户提供商品推荐,帮助客户找到所需商品,从而顺利完成购买过程,因此可以有效地保留客户,提高电子商务系统的销售;商家也可以通过推荐系统保持与客户的联系,重建客户关系。目前几乎所有的大型电子商务系统,Amazon、CDNOW、eBay、当当网上书店都不同程度地使用电子商务推荐技术和系统。各种提供个性化服务Web站点也需要推荐系统的大力支持。
美国计算机学会ACM从1999年开始召开的电子商务研讨会中,有关电子商务推荐系统研究的文章占很大比重。此协会的数据挖掘特别兴趣组SIGKDD小组设立WEBKDD研讨组,主题集中在电子商务中的Web挖掘技术和推荐系统技术。而ACM下面的信息检索特别兴趣组SIGIR在召开的第24届研究和发展会议上,开始专门把推荐作为一个研讨主题。目前电子商务推荐系统主要集中在推荐技术、推荐实时性、推荐质量、多种数据技术的集成、数据挖掘技术在推荐系统中应用等的研究。
虽然电子商务推荐的技术和系统都有相对大的进步,但是,如何及时地从网络上的海量信息中发现所需要的商品已经变得越来越困难。目前的电子商务推荐系统都只是基于单个电子商务网站的应用,所推荐的产品和服务是基于电子商务网站,客户群体也是特定的,因此不能满足基于网络条件下大规模电子商务推荐应用,并且存在实时性差、推荐质量不高的问题。基于知识推荐的优势在于它对客户的要求较少,因此适用于客户临时随机浏览的情况。虽然它不像协作推荐那样能为每位客户在客户群中找到合适的位置,但只要所依据的知识允许,它做出的推荐就能为多数客户所用。但基于知识的推荐技术最大的难点是知识的获取,而知识网格技术是可以有效地实现知识的获取、聚合和智能推荐问题。
2国内外电子商务推荐技术及系统研究现状
2.1电子商务推荐技术研究
电子商务推荐技术的研究方向主要包括基于内容的过滤和协同过程过滤两种。
2.1.1基于内容的推荐技术。它是信息过滤的派生和继续,是用相关特征来定义所要推荐的商品。例如,NewWeeder等新闻过滤的文本推荐系统就是采用文本中的单词作为文本的特征。系统通过学习客户已评价过的商品的特征来获得对客户兴趣的描述。客户描述类型的产生取决于系统所采用的学习算法,判定树、神经网络、基于向量的表示等技术都可应用于其中。Schafer等称之为“商品与商品的相关性推荐”。这种技术最大的缺点是必须分析资源的内容信息,因此对音乐、图像、视频等信息无能为力,无法分析信息的质量,无法提供新颖的推荐。
2.1.2协同过滤技术。由于基于内容的过滤自身的局限性,协同过滤推荐技术是当前研究的研究。协同过滤的最大优点是不需要分析对象的特征属性,对推荐对象没有特殊要求,能处理非结构化的复杂对象。著名的推荐系统有GroupLens/NetPercep。该方法主要有两类:a.基于内存的协同过滤,先用统计的方法得到具有相似兴趣爱好的邻居客户,再基于邻居进行计算,所以该方法也称基于客户的协同过滤或基于邻居的协同过滤;b.基于模型的协同过滤,先用历史数据得到一个模型,再用此模型进行预测。目前这方面的研究多集中对协同过滤推荐算法的改进研究。如刘力等人在假设客户多兴趣具有相似性的前提下,提出了客户多兴趣下的个性化推荐算法;Soe-TsyrYuan提出了一种基于语义本体论的耦合聚类算法[OBPC],应用于异质移动产品的推荐上,它不但解决了现有协同过滤算法存在的局限性,即只能应用于具有历史项评分记录的产品推荐,而且通过设计出产品的本体,提高推荐的质量和搜索质量。
2.1.3基于知识的推荐技术。除基于内容的过滤和协同过程过滤两种算法外,基于知识的推荐技术也逐渐成为研究热点。通过推断客户的需要来做出推荐,这种推荐系统具有特定商品满足特定客户需要的知识,并由此推导出客户需要与某一推荐物品的相互关系。BinXiao等人采用基于案例推理的推荐技术CBR(Case-BasedReasoning),设计出了电子商务产品智能推荐系统PCFinder。基于知识推荐的重点和难点是需要获取知识,它涉及三种知识:a.目录知识,即推荐商品及其特征的知识;b.功能知识,推荐系统应当能将客户的需要和可能满足该需求的商品特征进行比较;c.客户知识。基于网格环境的知识获取和聚合是一个新研究热点。
2.2电子商务推荐系统研究
在理论研究的同时,也有大量研究型推荐实例。XeroxPARC研究中心提出的TYPESTRY协同过滤推荐系统,用于过滤电子邮件、推荐电子新闻,它通过自有的TQL语言,在客户查询请求中必须明确指出与自己兴趣爱好相似的其他客户,因此只适用于客户群体比较小的场合。MIT开发的GroupLens自动协同过滤推荐系统,用于新闻组信息推荐,通过客户评分信息自动搜索客户的最近邻居;BellCore开发的协同过滤推荐系统VideoRecommender通过电子邮件方式收集客户评分数据,提供电影推荐;而Stanford大学数字图书馆项目组开发的基于内容过滤和协同过滤的复合型推荐系统FAB,用于Web面页推荐。下面对目前推荐的研究方向及其存在的问题归纳如下:
2.2.1实时性研究:推荐系统的推荐精度和实时性是一对矛盾。大部分推荐技术在保证实时性要求的同时,是以牺牲推荐系统的质量为前提的。在大型电子商务推荐系统中,推荐系统的伸缩能力和实时性要求越来越难以保证。如何有效满足推荐系统的实时性要求得到了越来越多的研究者关注。
2.2.2推荐质量研究:在大型电子商务系统中,客户评分数据极端稀疏。客户评价数据的极端稀疏性使得推荐系统无法产生有效的推荐,推荐系统的推荐质量难以保证。CyrusShahabi等人综合基于内容的过滤和协同过程过滤两种推荐技术的优点,设计出了离线训练模型、在线使用模型进行推荐的一种可调谐模式——Yoda,提高了基于Web的推荐商务系统的质量和规模性。
2.2.3推荐结果解释研究:电子商务推荐系统为了说服客户,需要向客户解释推荐产生的原因。目前的电子商务推荐只能通过简单的销售排行、向客户提供其他客户对商品的评价信息等方法向客户解释产生的推荐的原因。
2.2.4多种数据集成性研究:当前大部分电子商务推荐系统都只利用了一部分可用信息来产生推荐。随着研究的深入,新型电子商务推荐系统应该利用尽可能多的信息,收集多种类型的数据,有效集成多种推荐技术,从而提供更加有效的推荐服务。这方面以研究基于多文档的电子商务推荐技术。DragomirR.Radev采用以句子信息量来产生文件摘要之模式,开发出了多文档信息摘要和推荐系统WebInEssence。
2.2.5与商业系统的接口多采用紧耦合的方式,由于推荐需求和应用系统之间的差别,推荐系统需要根据具体Web站点进行定制开发,集成代价高,系统移植性差,难以动态有效管理和维护多个推荐工具和大量数据。随着推荐系统在电子商务系统中的广泛应用,带来了大量推荐工具、数据、应用接口等如何有效管理和维护的问题。
2.2.6推荐系统规模性研究:到目前为止,绝大多数电子商务推荐技术及系统研究都是基于特定网站或电子商务虚拟社区的,不能满足大规模网站推荐应用。目前提出了一种“电子商务虚拟社区推荐系统”,它是假设在某一电子商务社区,存在相近商品和相近客户群的虚拟电子商务网站社区,提出了“基于智能代理的社区推荐系统”。
2.3我国推荐技术和推荐系统研究现状
我国电子商务推荐系统相对国外差距较大,理论研究的落后是影响推荐技术发展的直接原因,现有的推荐系统在推荐的深度、规模性和质量方面都远远落后于国外。我国电子商务的推荐功能相对国外存在较大的差距,主要表现在以下几方面:a.缺乏个性化的推荐,很多的推荐结果是对所有客户的,是非个性化的推荐,可能很多的推荐与某一客户的兴趣并不相符,这是我国电子商务推荐与国外推荐最主要的差别;b.推荐的自动化程度低,大多数的推荐功能都需要客户经过一段时间与计算机的交互,输入自己的兴趣信息,然后才能得到结果,系统不能保存客户每次的输入信息;c.推荐的持久性程度低,目前的推荐技术都是建立在当前客户会话基础上,不能利用客户以前的会话信息,推荐的持久性程度非常低,这也是我国推荐技术和国外推荐技术的一个重要差别;d.推荐方法单一,大多数所用的推荐策略基本都是分类浏览和基于内容的检索,缺乏多种推荐策略的混合使用,尤其缺少个性化与非个性化推荐策略的混合使用;e.实时性差,不能在线推荐,有的推荐不能做到在线推荐,如信函式推荐,使推荐不能及时。
目前我国在电子商务推荐方面所使用的主要是查找或检索技术,它是一种基于查找目标内容的推荐。相对狭义的推荐技术而言,查找或检索技术存在着自动化程度低、主动性差、个性化程度低和实时性差等缺点。近年来我国开始重视电子商务推荐的研究工作,自然科学基金也曾资助过“面向电子商务的顾客偏好分析与个性化分析系统”、“电子商务个性推荐系统及应用研究”。在个性推荐和自动推荐方面的理论研究也刚刚开始,基于网格环境和知识网格的推荐技术研究工作完全处于空白阶段。
3知识网格、语义本体论
网格从其功能强度上可分为知识网格、信息网格和计算网格。计算网格聚合网络上分布的计算机、工作站、机群、群集、数据库、高级仪器和存储设备等,形成对客户相对透明、虚拟的高性能计算环境,目标是解决大规模的科学计算问题。知识网格是一个智能互联环境,它能使客户或角色有效地获取、发布、共享和管理知识资源,并为客户和其他服务提供所需要的知识服务,辅助实现知识创新、协同工作、问题解决和决策支持。知识网格所要解决的主要科学问题包括:资源的规范组织、智能聚合和语义互联。资源的规范组织解决如何规范地组织资源空间,使客户和服务能够有效、正确地根据语义操作各种资源,提高资源的使用效率。资源的智能聚合解决如何使资源能够互相理解,根据客户的需求有效、动态、智能地聚合各种资源。资源的语义互联解决如何使Web资源的语义能被机器理解指出知识网格的主要研究内容是:利用网格、数据挖掘、推理等技术从大量在线数据集中抽取和合成知识,使搜索引擎能够智能地进行推理和问题回答,并从大量数据中得出结论。
在Internet上实现基于语义的信息检索和情报收集,无疑是广大因特网客户的迫切需求。2001年5月,Web之父TimBerners-Lee和合作者在《ScientificAmerican》杂志上发表了《TheSemanticWeb》一文。文中正式提出了语义网的概念,鉴于TimBerners-Lee在Web领域的巨大影响,该文后来一直被公认为是开辟语义网研究的源头文献。为了实现知识的共享和重用,语义网研究中引入本体技术是最近几年来的发展趋势,且正在被不断地实践。如果广泛采用节点语义本体论技术,那么“精细、准确和自动化”的搜索和智能推荐就能够实现。
4基于知识网格的电子商务推荐系统展望
网格(Grid)被认为是未来的互联网技术,网格试图实现互联网上资源的全面连通,包括计算资源、通信资源、软件资源、知识资源等等。知识网格是一个智能互联环境,它能使客户或虚拟角色有效地获取、发布、共享和管理知识资源,并为客户和其他服务提供所需要的知识服务,辅助实现知识创新、协同工作、问题解决和决策支持。
当前大部分的电子商务推荐系统都只是一个单一的工具,只能提供一种推荐模型,不能灵活提供多种推荐功能。电子商务系统在不同场合和时刻需要不同类型的推荐,如客户登录Web站点首页和浏览商品类别时,适合提供基于热门销售的推荐;客户提供商品评分时,适合提供基于协同过滤的推荐;但基于网格技术的电子商务推荐系统的复杂性,不同场合需要不同的推荐。基于信息网格的推荐在算法上刚刚起步。LanM.等人提出了“电子商务推荐系统的信息网格结构”,采用了基于内存的多代理节点结构来实现,虽然能减少客户在线的信息交互量,但在推荐质量、推荐的深度和大规模应用方面没有显著提高,没有真正利用网格技术。在与电子商务推荐相关的知识网格研究方面,国外刚开始进行基于信息网格的知识获取及聚合理论研究工作。基于知识网格的电子商务推荐系统研究方面,国内外目前处于空白阶段。
目前国内外尚未开展知识网格与电子商务推荐系统的合成研究,但在相关其它领域则取得了较大进步。基于语义本体论的知识网格应用研究在国内外进展较快。中国科学院计算技术研究所诸葛海研究员领导的知识网格研究在国际上取得较大的成绩,目前已经初步实现了知识网格平台、语义链建造工具和智能浏览器的原型,正在进一步探索知识网格在下一代语义互联环境和图像检索等领域的应用。我国在知识网格的应用研究方面也有较成功的案例。中国e-Science知识网格环境IMAGINE-1将知识网格的理念付诸实施,它在对研究资源包括科技文档(如技术报告和论文)、实验数据和器材进行知识聚合的基础上,为研究活动包括:调研和实验、收集参考资料、分析、讨论、评估和发布结果提供知识共享的平台,通过资源共享实现了科学家之间有意无意的合作,提高协作研究中的知识激发、产生、创新、传播、融合与管理。而吴朝辉等人结合语义本体论和知识网格技术,开发基于知识网格的中医药信息共享与服务平台TCM,能规范组织中医药信息资源表达、管理中医药信息共享与集成、提供智能化中医药信息与知识服务,包括建立TCM语义本体库、研究TCMKB-Grid知识网格模型和设计TCM知识网格服务结构等贡献。在日趋激烈的竞争环境下,电子商务推荐系统能有效地保留客户,提高电子商务系统的销售。结合知识网格技术、语义本体理论和电子商务推荐技术,可以广泛面向网络的、大规模的、复杂获取、发布、共享和管理电子商务知识资源,提高电子商务推荐系统的深度、规模性和质量,并利用计算网格的超级计算和跨异构平台的特点,解决电子商务推荐系统的实时性和质量问题,消除现有推荐系统存在的与现有商业系统存在的耦合难度。因此研究基于网格技术的电子商务推荐技术和系统具有很强的理论和实际意义,基于网格技术的电子商务推荐系统将产生巨大的经济效益。
(本文不涉密)
责任编辑:
下一篇:七大热门商业智能产品