第三媒体电脑硬件业界渠道业界前沿 → 戴尔科技: 干货!一文读懂戴尔科技流数据平台! TTL

戴尔科技: 干货!一文读懂戴尔科技流数据平台!

上传:dandan2     来源:信息存储服务     日期:2020-03-19

[摘要]  
   SDP是一套基于软件与参考硬件的弹性可伸缩平台,用于注入、存储和分析无界的流式数据。流式数据处理,有时又被称作事件处理,可以动态地将流式数据以及分析工作分发到可用的处理设施上
 
[正文]    

不久前,戴尔科技集团

正式发布新一代流式数据平台

Dell EMC Streaming Data Platform

(简称SDP)

相信很多读者都很好奇

这个平台能给我带来什么?

它是如何工作的?

优势特点在哪?

今天,小编邀请到了

戴尔科技集团软件开发总监滕昱

为您深入讲解SDP的

What、Why和How

了解流数据平台

看这篇文章就够了!

戴尔科技: 干货!一文读懂戴尔科技流数据平台!


作者 戴尔科技集团软件开发总监 滕昱

SDP是什么

   SDP是一套基于软件与参考硬件的弹性可伸缩平台,用于注入、存储和分析无界的流式数据。流式数据处理,有时又被称作事件处理,可以动态地将流式数据以及分析工作分发到可用的处理设施上。

   从用途上看,SDP允许在一个应用内同时处理实时数据和历史数据。从结构上看,SDP结合了开源的流式数据存储引擎Pravega和流式数据计算引擎Flink,以及,并且可以与非结构化存储的代表产品ECS(Elastic Cloud Storage)和Isilon无缝对接。

戴尔科技: 干货!一文读懂戴尔科技流数据平台!


SDP能做什么

SDP是一套强大的流式数据平台

它提供了一系列流式数据相关的功能和特性

❶ 数据注入:原生支持所有类型的流式数据注入,包括无界字节流。

❷ 存储:弹性的分层存储提供快速的数据访问和几乎无限的数据存储,包括对历史数据的访问。

❸ 分析:对流式数据的分析能力由内嵌的Flink计算引擎提供。

❹ 平台管理:集成的管理功能提供数据安全、配置、访问控制、资源管理、健康告警和网络拓扑可视化。

❺ 运行时管理:基于Web的用户界面允许使用者为应用分配流和其它资源,运行应用以及查看作业状态。

❻ 应用开发:开发环境提供对应用开发和组件升级的支持。

❼ 允许应用程序重定向输出到第三方可视化和告警工具,例如Kibana。

SDP为什么重要

   著名咨询公司Gartner的最新分析报告显示,目前的企业数据约有80%都是非结构化数据。

戴尔科技: 干货!一文读懂戴尔科技流数据平台!


   根据数据自身性质的不同,一般可以将非结构化数据分为三类:文件、对象和流。针对文件型的非结构化数据,戴尔易安信拥有占据市场领先地位长达10年的存储产品Isilon。针对对象型的非结构化数据,也有新兴的优秀对象存储产品ECS。然而,在流式数据领域却迟迟没有一款针对性的产品投入市场。

   SDP的出现正好填补了在流式数据领域的空缺。

   现代企业对成熟的流式数据处理解决方案提出了越来越多的的需求,例如:无界数据流的分析与存储能力,历史数据与实时数据的统一,自动扩展机制,高度的数据一致性与事务支持,统一的数据API,企业级平台等等。一方面,传统的批处理数据引擎已经完全无法满足现代企业对实时性的要求。另一方面,现有的流式数据系统大都基于消息模型,例如Kafka,Spark等。这些系统从本质上看,仅仅只是一些高速消息系统,缺乏一致性、可靠性、持久化等存储特性,因此很难适应当今物联网趋势下的各种复杂数据处理需求,例如:无人机的实时视频流分析,制造业的缺陷探测,自主侦察监视等等。业界迫切需要一款“真正意义上的字节流”解决方案。而SDP就是我们交出的答卷。

戴尔科技: 干货!一文读懂戴尔科技流数据平台!


SDP的企业级特性

   SDP的定位首先是一个企业级平台,因此企业级的特性必不可少,例如:安全性、隔离性、可扩展性、可管理性、易用性等等。我们将从企业的视角出发,逐一介绍SDP的这些特性。

为跨团队的数据流提供企业级安全保障

戴尔科技: 干货!一文读懂戴尔科技流数据平台!


图1 SDP的应用隔离设置界面

   SDP平台基于K8s进行部署,除了具备基础的K8s安全隔离特性外,还额外提供了一套扩展的数据隔离与保护机制。

   简单来说,每一个业务部门可以在SDP平台上创建自己独立的多个应用,而每一个部门之间的数据都是相互隔离的。SDP还引入了用户角色机制,进一步细化每一个用户的权限控制。图1展示的是为应用设置隔离的界面。

为数据注入提供自动扩展机制

戴尔科技: 干货!一文读懂戴尔科技流数据平台!


图2 SDP平台内部活动segment数量的可视化展示

   自动扩展机制是SDP提供的另一个吸引人的企业级特性。

   具体来说,当数据注入流量发生变化时,SDP能够实时自动进行水平扩展/收缩,以便达到最佳性能和吞吐量。这个过程是自动进行的,无需人工干预。

   这一特性使得企业内部的硬件资源时刻保持最佳利用率:既不闲置浪费也不过度占用。这对一向以成本敏感著称的企业应用来说,一定是一个福音。

   图2用一个示例展示了SDP平台内部处于活动状态的Segment数量随时间的变化过程。从图中可以很清楚地观察到,在某些时间点上发生了Segment的分裂动作(水平扩展,吞吐量上升),而在另一些时间点上则发生了Segment的合并动作(水平收缩,吞吐量下降)。

提供便捷的IT管理

戴尔科技: 干货!一文读懂戴尔科技流数据平台!


图3 SDP仪表板的局部界面

   便捷高效的管理功能一向被认为是企业级应用所必备的特性,SDP也毫不例外地具备这一特性。

   图3展示的是SDP仪表板的一部分,包括当前系统的各种性能指标以及资源使用情况。根据当前的实时指标,系统管理员可以提前收到可能的异常预警。当发生系统故障时,也能够帮助迅速定位故障位置。

戴尔科技: 干货!一文读懂戴尔科技流数据平台!


提供简化的开发流程

SDP对开发者非常友好。

   在SDP平台内运行的每一个应用都同时支持实时数据和历史数据的访问,并且有统一的API支持。这意味着开发者无需花费精力使用两套系统或者学习两套API规范。开发者仅需要编写一套统一的代码,就可以同时适用于实时数据和历史数据。另一方面,内置的Flink计算引擎和相应的Flink API大大降低了开发者的入门门槛。

SDP的整体架构

戴尔科技: 干货!一文读懂戴尔科技流数据平台!


图4 SDP的整体架构示意图

   SDP的整体技术栈包括了平台软件本身以及一整套标准硬件,如图4所示。SDP紧随当前的业界标准,从设计之初就是一个运行在容器环境下的分布式应用程序,并依靠K8s进行编排。容器环境不仅能够隔离不同项目,还能够高效管理资源,以及进行认证服务。

   SDP运行时环境毫无疑问地是基于一套被称作“戴尔科技标准参考架构”的组合配置,即:戴尔易安信的裸硬件,VMware的虚拟化支持,再加上Pivotal扩展的K8s环境(Pivotal Container Service,PKS)。

   SDP平台的最基础的组件是它的流式数据存储引擎,即:Pravega。作为平台内的自研开源组件,Pravega承担着为所有其它组件提供流式数据存取服务的重任。因为在流原生的环境下,数据只有唯一的表现形式:流。

戴尔科技: 干货!一文读懂戴尔科技流数据平台!


▲Pravega是戴尔科技集团从零开始构建的存储系统

   取梵语中“Good Speed”之意为了对海量流式历史数据提供容量扩展,Pravega需要连接二级持久化存储设备,ECS和Isilon都是推荐的选择。同时,为了达到实时数据处理所要求的低延迟,Pravega还拥有自己的基于固态存储的一级持久化存储支持,目的在于进一步降低写入延迟。

戴尔科技: 干货!一文读懂戴尔科技流数据平台!


   作为SDP平台的上层建筑,对外提供数据分析和处理能力是流式处理引擎的主要职责。通过不同的Connector组件,SDP可以借助Flink等各种现有的流式计算引擎完成数据的分析与处理,以便将单独的数据流组合成更加灵活的流水线,完成更加复杂的操作。用户甚至可以开发自己的Connector组件,以便连接其它存储与计算引擎。

SDP与Flink

紧密结合

   低延时的实时处理能力可以让企业用户从已有的数据集中产生新的商业模式,带来新的经济效益,而对历史数据的支持又是某些应用不可或缺的一部分。Pravega和Flink结合各自在实时数据、历史数据上存储和计算的优势,不仅保障极高存储效率的同时还能够进一步降低企业在数据存储和运维的成本。

   统一数据处理是一个充满挑战的领域,通过Pravega与Flink相结合的企业级解决方案,可以彻底简化现有数据分析架构的复杂性,以及数据冗余、缺少可靠持久等问题,最终实现一个真正意义上的端到端的流/批统一数据处理框架。

   SDP在K8s上构建,采用微服务架构,通过统一的K8s Operator方式部署Pravega与Flink,集合了存储和计算平台,并且实现安全、多租户等诸多特性,为企业用户提供了一体化的数据存储和分析平台。

戴尔科技: 干货!一文读懂戴尔科技流数据平台!


核心功能覆盖

SDP的1.0版本涵盖了Flink的核心功能:

在K8s上部署Flink Session Cluster

支持多版本的Flink(1.7.2、1.8.1和1.9.1)

可配置的Flink集群资源控制

Flink集群的扩容/缩容

支持用户上传、管理和运行Flink任务Jar包

支持从加密的Pravega客户端通过Flink Connector读写数据

Flink UI的安全访问控制以及K8s外部访问

端到端的恰好一次(Exactly-Once)语义

基于事件时间(Event Time)的语义

为什么选择Flink

   Pravega作为戴尔易安信研发的开源流存储平台,专注于流式数据存储的可靠性和实时性,同时提供批流一体的Stream API。

   这一设计思路与Flink作为处理引擎的理念不谋而合。

   Flink擅长实时数据处理,如今Flink社区也同样致力于整合DataStream API,统一批和流的处理。Flink因此自然成为了Pravega最为合适的计算引擎。两者也自从Pravega诞生以来就有着深入的合作,Pravega团队也多次参加了Flink  Forward大会,并进行了主题演讲和专场报告,分享Pravega与Flink的最新成果。这样深度的技术合作也是SDP选择Flink进行合作的主要原因之一。SDP希望结合并且发挥两者的优势特点,帮助用户解决实际问题。

戴尔科技: 干货!一文读懂戴尔科技流数据平台!


戴尔科技集团软件开发总监滕昱参加2019 FFA大会

   SDP作为企业级的数据存储和计算一体化平台,为用户提供了安全可扩展的平台,助力企业创新获取新的价值。Flink为开发者提供了标准化的、丰富易用的Flink API,简化了开发人员的工作,为包括零售、农业、汽车、能源行业等行业的数字化、智能化转型提供了大量机遇。Flink中文社区的蓬勃发展也为中国的用户们提供了丰富的应用场景的示例和第一手的开发资料。

   与此同时,Flink社区近期在不断加强与K8s容器编排系统的整合,SDP也在此基础上,通过构建基于K8s的架构进一步减少软件系统和平台管理的难度,最大程度地降低了对DevOps的门槛。

   (新闻稿 2020-03-20)


电脑(PC)频道首页 】【 评论 】 【 打印 】 【 字体:
   上一篇:变色发柴流血水?海尔冷柜细胞级冷冻锁留新鲜健康加倍
   下一篇:高端家电波动: 西门子、三星短暂回落,卡萨帝略有上升
电脑(PC)导航:电脑报价 | 电脑大全 | 电脑排行榜 | 产品大全 | 参量 | 订阅 
 Advertisement
 十大最受关注的电脑(PC)新闻
1  科学和艺术可以分开吗?
2  联想智慧中国行走进邯郸 RISE战略为当地经济赋能
3  联想电脑: 小机箱大屏幕 联想扬天M3900q商用电脑1969
4  兰洋科技联合雷神全球首发量产级浸入式液态散热主机
5  多款游戏大作来袭 , 精选10月PC装机配置单!
6  AOC电脑: 十代双核,AOC 815系列电脑整机1985元
7  校园风采短视频大赛丰厚奖品,联想实习机会等你来
8  雷蛇旗下XBOX外设产品全面兼容XBOX SERIES X|S
9  联想电脑: 简约不凡,联想扬天M4000q商用电脑促销
 十大最受关注的电脑产品
1  戴尔一体机 XPS one电脑 ¥11100元
2  TCLSHE 5220(17"LCD)电脑 ¥4800元
3  TCL锐翔K9619电脑 ¥3999元
4  宏碁G1100电脑 ¥3399元
5  联想家悦 s520(酷睿i3-3240/2G/500G)电脑 ¥3599元
6  长城世恒K-K3750I5(Core i5-750/4G/500G)电脑 ¥9998元
7  清华同方真爱 V9800-B001(AMD 速龙II四核 630/... ¥6999元
8  海尔新极光X6-B060(酷睿2 E7200/2G/500G)电脑 ¥8299元
9  方正商祺 N720-6541(奔腾双核E6700/2G/500G)电脑 ¥3399元
10  海尔乐趣Q20-D010(Intel ATOM D525/2G/320G)电脑 ¥1799元
 十大热门电脑(PC)驱动/软件下载
1  [系统工具]Unlocker下载【Unlocker 1.9.1版】
2  [网络软件]WinPcap下载【WinPcap 4.0.2正式版】
3  [硬件工具]EVEREST下载【EVEREST旗舰版5.50 Final】
4  [常用软件]UltraEdit下载【UltraEdit 17.30.0.1011 官方 ...
5  [网络优化]PP加速器下载【PP加速器PPVA 0.6.5.0007版】
 十大最受关注的电脑品牌
电脑
1  戴尔电脑(DELL)
2  联想电脑(lenovo)
3  海尔电脑(Haier)
4  方正电脑(FOUNDER)
5  惠普电脑(HP)
6  清华同方电脑(TSINGHUA TONGFANG)
7  神舟电脑(HASEE)
8  宏碁电脑(acer)
9  长城电脑(Great Wall)
10  华硕电脑(ASUS)
 十大热门常用软件下载
1  QQ2008正式版下载【腾讯QQ2008官方版Beta1】
2  E话通下载【E话通4.5 正式版】
3  皮皮播放器下载【PPFilm皮皮播放器 2.1.0.2版】
4  面对面游戏下载【面对面视频游戏大厅】
5  DVD解码器下载【NVIDIA DVD Decoder 1.02】
6  迅雷5下载【迅雷5.8.1.507官方版】
7  QQ2007 II正式版下载【腾讯QQ2007官方版本】
8  QQ2006正式版下载【腾讯QQ2006官方版本】
9  联众世界游戏大厅下载【联众世界2.7.0.8官方版】
10  MTV下载器【MTV下载精灵 8.31版】
11  pplive最新版下载【PPLive网络电视V1.9.35版】
12  迅雷(Thunder)下载【迅雷v5.7.12.493官方版】
13  腾讯QQ2008下载【腾讯QQ官方版2008极速贺岁版KB1】
14  Total Video Converter下载【Total Video Converter v3.1...
15  QQ拼音输入法下载【腾讯QQQQ拼音输入法V1.4.1版】
16  皮皮高清影视播放器下载【PIPIPlayer 2.7.0.3版】
17  eMule下载【电驴eMule官方v0.49a正式版】
18  极点五笔输入法下载【极点五笔6.1标准版】
19  QQ2009正式版下载【腾讯QQ2009 SP4官方版】
20  Vagaa哇嘎画时代版下载【哇嘎 2.6.5.10】
   >> 查看评论   
 
   >> 查看更多评论   [共有0条评论]
发表评论
        
        
   点评:
   姓名:  
            字数: 0
     
新闻精选
·919闪耀生活节,洗空调不是你的家务,而是我
·已是第一,却没安于现状!海尔冰箱国庆再次领
·为Zen 3而生!华硕发布全新X570/B550主板
·动了谁的奶酪?卡萨帝冰箱份额第一,国庆继续
·多款游戏大作来袭 , 精选10月PC装机配置单!
·降温了食材常温存?919闪耀生活节保存和保鲜都
十代双核,AOC 815系列电脑整机1985元
  ·节前必跌过不去这个坎?中怡康39周 卡萨帝逆
·工信部《能效之星产品名录(2020)》,海信第一
·校园风采短视频大赛丰厚奖品,联想实习机会等
·国庆冰箱怎么选?凭口碑优势,海尔依然是第一
·准确触发不拖沓 HyperX起源RGB游戏机械键盘
·致敬武汉精神!海信激光电视全程助姚基金慈善

相关文章

更多检索

其他电脑

戴尔系列