您现在的位置是：首页 > 云计算 >

青云大数据工作台发布 “盘活”全链路数据资产

2022-06-01 10:26:36作者：路沙来源：信息主管网

摘要目前，青云大数据工作台上线了1 0版本，主要具备“数据集成、数据加工、统一数据存储和服务”功能模块，为企业数据价值挖掘提供支持。与此同时，通过云原生、全托管式计算引擎、全生命周期数据开发、高效的数据同步服务、丰富业务场景的五层架构支撑，青云大数据工作台还能够应对大数据全链路场景下的复杂需求。 ...

想必大家都听说过盲人摸象的寓言故事，这则寓言告诉我们，每个人摸得都是象的一部分，而部分并不能代表全部。事实上，任何事物只关注于一点，似乎都会落入以偏概全的误区当中。进入大数据时代，企业内部的数据越积越多，以前企业只知道将数据存起来，认为这就是企业的价值所在。

青云QingCloud 大数据产品经理刘雄风表示，大数据的价值并不是数据本身，而是数据背后所隐藏的对业务有影响的信息和知识。以Wikipedia的数据金字塔为例，从数据层到智慧层，每往上一层，对应的数据量就会小一点，而对业务的影响价值就会更大一些。而要从海量数据中提炼出有价值的信息和知识，需要经过很长链路的流式处理，如果没有一套完整的系统保障这条链路的高效运转，则很难实现这一目标。

“此时，企业需要的并不只是Hadoop、Spark和Flink等大数据产品组件的堆叠，而是需要以大数据技术为基础，通过构建端到端的全链路解决方案，真正盘活数据资产，以获得数据洞察价值。”刘雄风表示，青云大数据工作台便是出于打通大数据全链路的初衷，通过整合青云完整的数据产品和服务，为客户提供了一个一站式智能大数据开发与治理平台。

为打通大数据全链路而生

朱熹“问渠那得清如许，为有源头活水来”的诗句表明，池水之所以如此清澈透明，是因为有源源不断的活水注入。对于处于数字化转型过程中的企业来讲，企业的数据洞察能力就犹如注入池塘的一股活水，能够不断地为企业输入发展动力。

目前，青云大数据工作台上线了1.0版本，主要具备“数据集成、数据加工、统一数据存储和服务”功能模块，为企业数据价值挖掘提供支持。与此同时，通过云原生、全托管式计算引擎、全生命周期数据开发、高效的数据同步服务、丰富业务场景的五层架构支撑，青云大数据工作台还能够应对大数据全链路场景下的复杂需求。

刘雄风表示，青云大数据工作台旨在降低大数据使用门槛，将代码开发降到最低，让非技术人员也能进行大数据分析，实现数据在云平台各产品之间快速流转，支撑上层业务，消除企业“数据孤岛”，实现数据的统一调度和计算，进而帮助企业挖掘数据价值，提升整体的数据洞察能力。

具备了数据洞察能力，便能够让企业从海量、模糊、复杂、混乱的数据中识别和发现正确信息，从而更加高效合理的利用数据资产，实现真正意义上的“数据决策”。“行业中广泛定义的数据中台建设，是为实现数据快速、准确、低成本赋能业务发展目标，将企业数据进行统一整合，并基于One Data方法论而搭建的，主要以大项目的定制化方式进行私有化交付，成本更大，周期也更长。而青云大数据工作台则采用云原生架构，基于Kubernetes实现资源的调度，聚焦于数据使用场景下，解决数据集成、流批一体计算、统一运维和统一数据服务共享的问题，并通过一站式、便捷低成本的方式，帮助中小型企业快速发挥数据价值，构建‘云上数据中台’。”刘雄风如此说道。

“周到”的功能特性让数据管理化繁为简

数字化竞争日趋剧烈，在挖掘数据价值的过程中，数据的应用和管理是企业能否获取更大优势的关键。身处其中，云服务商应该提供一整套的工具和平台，帮助客户打通所有平台，连接所有数据。
在此过程中，青云坚持“与时俱进”的技术创新，并通过“化繁为简”的方式，致力于从根本上解决企业用户在云环境下面临的各类数据挑战，最大化的释放出数据的潜能。以青云大数据工作台为例，通过提供五大功能，进一步简化了企业的数据管理：

一是数据上云。青云大数据工作台提供本地数据源上云服务，支持结构化、非结构化、半结构化的数据，可将数据安全地同步到云端，后续计算在云端完成，充分释放了企业的服务器压力。目前支持MySQL、PostgreSQL、Kafka、S3、ClickHouse、HBase、HDFS、FTP共8种数据源。同时，支持连接串模式数据源的创建，对接入的数据源能够进行列表展示和管理。

二是数据开发。在云上的大数据开发环境，青云大数据工作台可将数据进行加工，支持实时处理、离线批量处理。同时，根据业务需求，客户可以选择“可视化算子拖拽、界面化SQL开发、Jar包提交”三种方式构建数据开发任务，满足多维度的开发者进行任务构建的需求。

三是数据同步。企业可将处理完的结果数据，根据数据特性，存储在不同的存储介质当中，以备使用。为此，青云大数据工作台提供了向导式和脚本式两种数据同步方式：向导式同步通过便捷、简单和可视化的智能映射，就能快速地按步骤完成数据的配置和数据集成的读取和写入；脚本式同步是以SQL文本的方式提供给客户，进行深度配置和调优，简便高效。

四是作业运维调度。青云大数据工作台自主研发的调度和任务管理模块，可以同时根据任务维护和资源分配维度进行分别监控，实时跟踪计算的饱和度，提醒企业根据需求调整计算资源，助力全流程高并发处理。

五是引擎资源管理。青云大数据工作台提供云端全托管Flink集群，可快速完成计算集群部署；具备云原生弹性扩容能力，节省资源，提高资源利用率；提供细粒度资源管控，最小资源使用粒度仅0.5 CU，实现精细化资源管控；支持按量和包年包月计费，适配不同需求，价格低廉，安全稳定。

刘雄风表示，从数据上云到引擎资源管理，青云大数据工作台具备开箱即用、弹性扩容、存算分离、开放兼容、安全可靠、生态整合六大产品特性。同时，基于云原生架构，青云大数据工作台可以部署在开源的Kubernetes容器平台上，对于客户来讲，使用起来更加开放和包容，能够实现跨云、跨容器、跨厂商的实时运行。

“与具有互联网背景的公有云厂商相比，青云大数据工作台基于云原生架构，所提供的大数据服务将会更加自由。在需求方面，基于真实的客户场景，抽取最大化的公共需求，聚焦业务问题，优化产品体验，以极简的操作步骤，解决客户的核心业务问题。与通用大数据企业相比，青云大数据工作台可依托公有云提供的天然 Demo、快速反馈更新能力，便捷推广和迭代产品。弹性计费和灵活扩缩容也能够帮助客户节省成本。”刘雄风进一步说道。

与时代同频共振青云一直在行动

如今，青云大数据工作台能够支撑精细化运营分析、实时计算、可视化开发运维，以及构建数仓等应用场景，可以根据物联网、工业、制造、科研等不同行业、不同企业的业务需求，提供具有针对性的服务。而谈及未来迭代演进，刘雄风表示，将聚焦数据治理、数字资产、优化体验三方面，在客户体验、数据运行、稳定性、容错性等方面进行整体的优化和提升。

自成立至今，青云技术与产品的创新迭代都在紧跟客户需求的变化。同时，始终坚持以原创的、业界领先的技术与产品服务产业数字化转型，并以开源、开放的信念和姿态，与开发者和合作伙伴共同构建新生态。身处大数据时代，青云选择与时代共振，依靠技术和市场驱动，不断践行初心。

可以看到，从2014年到2018年，青云在广度上实现了数据产品和服务的全覆盖。2018年以来，从产品和服务的深度入手，对各个产品性能、服务质量、服务范围都进行了全方位的提升。目前，青云已经推出了近30款数据产品和服务，同时集成优秀的合作伙伴应用，形成了包括数据库与缓存、消息队列与中间件、大数据服务、数据仓库与BI、对象存储在内的数据产品生态。

如今，青云大数据工作台的发布，进一步丰富了青云数据产品生态，为企业从海量数据中提炼有价值的信息和知识提供了一套完整的系统支持。不仅如此，青云大数据工作台还与KubeSphere容器平台和IoT平台形成合力，组建了“青云大数据工作台+KubeSphere+IoT”三位一体的技术方案，并在环保行业和工业行业落地应用，帮助客户实现实时数据分析、BI数据统计、全量历史大数据分析和业务系统的数据分析、存储、查询、呈现等。