您现在的位置是:首页 > 数字化转型 >
青云QingCloud Spark服务正式上线 一键部署大数据平台
摘要数据是新一代的自然资源,是判别企业竞争力的试金石。然而,随着数据量的爆炸式增长、数据来源和结构的多样化,传统IT基础架构已无法满足企业对数据处理的需求,Hadoop、Spark等支持PB级别数据的分布式存储和分布式计算框架应运而生。...
青云QingCloud Spark服务正式上线
数据是新一代的自然资源,是判别企业竞争力的试金石。然而,随着数据量的爆炸式增长、数据来源和结构的多样化,传统IT基础架构已无法满足企业对数据处理的需求,Hadoop、Spark等支持PB级别数据的分布式存储和分布式计算框架应运而生。
青云QingCloud系统工程师&大数据基础平台负责人周小四(Ray Zhou)表示,基础架构是大数据应用的基石,如果没有底层数据架构的支持,大数据就是纸上谈兵。此次推出的Spark服务就是基于QingCloud稳定高效、资源秒级响应、弹性可伸缩的IaaS之上,能够最大限度地发挥Spark轻巧、灵活和快速的优势。
Spark 是继Hadoop之后新一代的大数据分布式处理平台。它是一个基于内存的、容错型的分布式计算引擎。与Hadoop MapReduce相比,Spark的计算速度要快100倍。即便同样采用硬盘计算,Spark也比MapReduce快10倍。Spark卓越的用户体验以及统一的技术堆栈基本上解决了大数据领域所有核心问题,使得Spark迅速成为当前最为热门的大数据基础平台。
Spark 提供了多语言支持,如Scala、Python、Java、R等,支持交互式操作。它在RDD(Resilient Distributed Datasets,一个容错的、并行的数据结构) 基础之上提供了Spark Streaming流式计算,结构化数据处理组件Spark SQL,机器学习库 MLlib 以及图计算GraphX等功能。
具体而言,青云QingCloud提供的Spark服务有如下特征:
► 一键部署:QingCloud用户只需简单的配置,就能够在2-3分钟内搭建出一个Spark集群,并且通过丰富的工具和服务,实现高效简便的Spark运维管理。QingCloud提供多样化、组件化的服务模式,用户可以根据自己的业务需求,组建个性化的解决方案。
► 在线伸缩:Spark服务支持横向和纵向在线伸缩,以满足用户对计算能力和容量的需求,横向伸缩对用户业务的连续性不会产生任何影响。后续还会配合AutoScaling,达到Spark集群自动伸缩的效果。
► 迁移成本低:QingCloud Spark服务采用原生开源解决方案,并且采用最新的版本(目前为1.4.1版本,未来还会持续更新,并保留三个最新版本),具有良好的向下兼容特性,便于用户将自有Spark集群迁移至云端,也不限制用户从Spark服务迁移至自有集群。使用QingCloud的Spark服务,用户完全不必担心产生Vendor lock-in的束缚。
► 监控告警:QingCloud提供了对每个节点资源的监控告警服务,包括CPU使用率、内存使用率、硬盘使用率、硬盘IOPS、硬盘吞吐量等,以帮助用户更好的管理和维护Spark集群。
► 安全性:Spark集群运行于私有网络内,结合QingCloud提供的高性能存储和超高性能存储,在保障高性能的同时兼顾用户的数据安全。
青云QingCloud CEO 黄允松(Richard Huang)表示,Spark服务的发布标志着QingCloud完整的大数据基础平台已初步建立,接下来QingCloud还会陆续发布一系列大数据相关服务,如Hadoop、Cassandra、Hive、HBase和Storm等。未来,大数据、数据库、缓存和对象存储将同IaaS组件一起构成QingCloud完整的数据产品生态圈,提供一站式的计算、存储和数据处理服务,更好地帮助用户实现数据的价值。
关于青云QingCloud
青云QingCloud 是全球首家实现资源秒级响应并按秒计量的基础云服务商,致力于为企业用 户提供安全可靠、性能卓越、按需、实时的 IT 资源交付平台。其产品包含完整的 IaaS 层组件、 PaaS 层服务及超融合硬件设备。
QingCloud 采用分布式块存储系统确保高性能 I/O,部署实时异地副本保障数据安全,通过 云端 SDN 实现灵活易用的专享私有云服务(VPC),提供块设备级的备份与恢复,设计实时 P2P 机器人社区协作确保故障无害,支持全透明代理模式的负载均衡器,提供基于自身 IaaS 平台构建的 PaaS 服务,并无限制开放全部功能 API。
在为逾 35,000 家企业提供公有云服务的同时 , QingCloud 面向中、大型政企用户提供包含软 硬件产品的云计算整体解决方案,帮助企业用户构建和运维更加可靠、敏捷、高效的 IT 基础 资源调度平台,有效降低总拥有成本和运维投入。
(本文不涉密)
责任编辑: