李德毅：大数据挖掘带动的变迁

　　自大数据引入了人们的视线之后，它便逐渐成为人们普遍关注的点。大数据讲的是PB时代的科学，本质上大数据的挑战是PB时代的科学的挑战。那么，大数据时代怎么做数据挖掘呢?

　　在现今时代人们通常所说的大数据主要包括三个来源：第一，地球上的自然环境;第二，生命数据;第三，社交大数据，这些数据普遍存在于人们的手机、电脑等设备中。

　　当前，数据对于科学的挑战更是对包括数据挖掘认知科学的挑战，每一个人的身上都蕴含着大量的数据，但如何能从这些海量数据中利用识别算法提取出所需要的特征属性，并理清特征之间的关系都是现在所面临的问题。

　　由技术推动的计算机发展

　　回顾一下计算机发展的历史，1936年天才数学家图灵提出图灵模型，后来有计算机把图灵模型转化为物理计算机，这其中有三大块：CPU，操作系统，内存和外存，还有输入和输出。在计算机发展的头30年里，我们投入最多的是CPU、操作系统、软件、中间件以及应用软件。当时人们侧重于计算性能的提高，我们把这个时代叫做计算时代。

　　在这样一个计算领先的时代当中，我们主要做的是结构化数据的挖掘。关系数据库之父埃德加在1970年提出一个关系模型，用二维表形式表示实体与实体间的联系。三四十年来，各行各业的数据库和数据仓库技术，以及从数据库发现知识的数据挖掘成为巨大的信息产业。

　　关系代数是关系数据库的形式化理论和约束，先有顶层设计和数据结构，后填入清洗后的数据。数据围绕结构转，数据围绕程序转。用户无需关心数据的获取，存储、分析以及提取过程。通过数据挖掘，可以从数据库中发现分类知识、关联知识、时序知识、异常知识等等。

　　随着数据库产业的膨大，人们对数据库已经不太满足了，于是把Databases说成大数据，这便遇到了两个不可回避的挑战，第一个挑战是由于关系代数的形式化约束过于苛刻，无法表示现实数据;第二个挑战，随着数据量的增大，关系代数运算性能急剧下降。在这个时候，我们的存储技术得到了迅猛发展，人类进入了搜索时代。搜索因为存储便宜了，存储的速度大概每9个月翻一番，所以存储接着带动了技术的脚步，这种搜索时代经过了20多年，于是我们进入了一个半结构化数据挖掘时代。这个时代的代表人物就是万维网之父家蒂姆·伯纳斯—李，他提出了超文本思想，开发了世界上第一个Web服务器，于是我们可以从一台服务器上检索另一台服务器的内容，服务器在软件的支持下可发布包括文本、表格、图片、音视频的碎片化超媒体信息。

　　因此，客户端服务器结构和云计算结构蓬勃产生，这时已经没有了关于代数那样严格的形式化约束，依靠的主要是规范、标准，所有媒体均以实体形式存在，甚至是软件，实体通过超链接产生联系。

　　形式化理论比关系代数宽松了许多，创建了灵活多样的实体，这时候数据开始围绕实体转，实体围绕链接转。在云计算背景下，数据挖掘也可以看作是云计算环境下的搜索与个性化服务，不存在固定的查询方式，也不会出现唯一、100准确的查询结果。

　　移动互联网时代的大数据挖掘

　　随着互联网带宽6个月翻一番的速度，人类进入了交互时代，交互带动着计算和存储。

　　移动互联网时代的大数据挖掘主要是网络化环境下的非结构化数据挖掘，这些数据形态反映的是鲜活的、碎片化的、异构的、有情感的原生态数据。

　　非结构化数据的特点是，它常常是低价值、强噪声、异构、冗余冰冷的数据，有很多数据放在存储器里就没再用过。数据的形式化约束越来越宽松，越来越接近互联网文化、窗口文化和社区文化。

　　关注的对象也发生很大改变，挖掘关注的首先是小众，只有满足小众挖掘需求，才谈得上满足更多小众组成的大众的需求，因此一个重要思想就是由下而上胜过由上而下的顶层设计，强调挖掘数据的真实性、及时性，要发现关联、发现异常、发现趋势，总之要发现价值。

　　移动互联网时代的大数据挖掘过程当中，数据的简约具有自适应性，不必具有固定特征或者层次。

　　当前，深度学习也是一种数据自适应简约。如果我们在百度上用深度学习搜索一个人脸象素搜索，这么多人脸谁是谁?数据量急剧增加，各种媒体形态可随意碎片化，组织结构和挖掘程序要围着数据转，程序要碎片化，并可以随时虚拟重组，挖掘常常是人机交互环境下不同社区的发现以及社区中形成的群体智能，在非结构化数据挖掘中，会自然进行数据清洗和逐步强形式化，自然形成半结构化数据和结构化数据，以提高数据使用效率。

　　因此我们用网络化的大数据挖掘方法，首先是要在这个复杂的人人都连网的情况之下找到一个特定问题的社区，因此由社区发现成为大数据发展的首要问题，要研究社区成员，就必须要研究他们之间的相连关系，要研究他们的交互形态，显现的形态有评论、心情、收藏、购买、评分、顶踩、分享、转载、加为好友、邀请等，这些统计数据都将成为挖掘的基础。

　　群体智能是一个最近说得很多的词，我们曾经在计算机上做一个图灵测试，让计算机区分哪些码是人产生的，哪些是机器产生的，这是卡内基美隆大学提出来的，在网络购物、登录网站、申请网站时都会碰到适配码被使用。在此要提到第三个代表人物——路易斯，他提出用这个适配码应用方式。

　　有些事情计算机做得很好人做不好，有些事情人做得很好计算机做不好，怎样把这两个优势加在一起呢?于是就有了群体智能。

　　如果云计算支撑大数据挖掘要发现价值，那么我们认为云计算本来就是基于互联网的大众参与计算模式，其计算资源是动态的，可收缩的，被虚拟化的，而且以服务的方式提供。 产生摆脱了传统的配置带来的系统升级，更加简洁、灵活多样、个性化，手机、游戏机、数码相机、电视机差别细微，出现了更多iCloud产品，界面人性化、个性化，都可成为大数据挖掘的终端。

　　挖掘员支撑各种各样的大数据应用，如果我们有数据收集中心、存储中心、计算中心、服务中心，一定还有数据挖掘中心，这样一来，就可以实现支撑大数据的及时应用和价值的及时发现。

　　云计算产生的众包思想已经被大家接受，无论是电影行业，搜狗的输入方法，还是摄影照片共享说明了众包是怎么样完成生产购买的。因此我们可以设想，在互联网环境下，利用人的认知和大众间的交互，融合计算机存储对大数据挖掘，形成群体智能，这样一来，我们提出一个新的概念，叫众挖——大家来挖。

　　用户无需关心数据的形态，无需关心数据的获取位置、结构模式、存储方式以及分析过程，得到的就是及时的足够满意的挖掘结果。

　　大数据时代技术的有效性

　　大数据时代技术的有效性要比科学的完整性更为重要，如果说科学是解决形而上的问题，技术是解决行而下的问题的话，回顾一百年来的历史，在上世纪的后半时期，我们有了1930年的图灵模型，1970年的物理计算机，80年代，我们开始了关系数据库和产业，后来有了专家系统，在前50年大概都是科学引领技术发展，科学是技术先导。现在情况发生了变化，云计算的形而上是什么呢?大数据的形而上是什么呢?

　　数据结构的形式化约束由强到弱的演变非常明显，70年代是强约束，后面的Web计算是半结构化约束，到现在我们用的微机、手机、物联网传感器，越来越弱约束，弱到我们这个社区文化的常识就可以了。

　　大数据标志一个新时代的到来，这个时代的特征不只是追求丰富的物质资源，也不只是无所不在的互联网带来方便的多样化的信息服务，同时还包含区别于物质的数据资源的价值挖掘和价值转换，虚拟世界的信息价值挖掘导致更加精确的控制物理世界的物质和能量，以及由大数据挖掘带来的精神和文化方面的崭新现象。

　　(以上内容系根据李德毅院士在“2014第六届中国云计算大会”上的演讲整理而成)

(本文不涉密)
责任编辑：

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。