强者恒强,华为云是如何走出自己的硬核大数据之路?

  最近,随着“双十一”大幕如火如荼地开启、手机厂商争先恐后地发新机,笔者身边不少人的见面问候语变成了:“ 这个双十一,你换手机了吗?”而无论你换什么手机,想必都要考虑“5G时代的数据激增,选手机该从多大内存起步”的问题。

  如果说每个人都已经开始意识到个人数据激增和数据管理的重要性,在To B端,数据激增的趋势更加明显,随着5G、AI、IoT等技术的广泛应用,PB级的数据早已见怪不怪,据预测。全球每天产生的数据量更将从2018年的33ZB快速增长到2025年的180ZB。数据种类也越来越多,实时性要求更高,大数据不断在部门、行业之间流动将成为趋势,广大政企用户也意识到,数据将成为“生产力”,为它们在数字世界与现实世界的融合提供全面的竞争力。大数据技术和应用已经进入到了“落地”期,越来越多的政企从尝试性部署进入到了规模部署的阶段。

  在现实世界中,需求侧觉醒的同时,在平行的赛博世界中,技术的进化也一直在持续。自从2006年Apache Hadoop架构发布以来,到2011年,企业逐渐采用Hadoop架构演进出来的开源或商用大数据软件,开启了离线计算时代;2012年,以Spark等为核心的流式计算开启了实时计算时代,在线分析和实时计算的场景也开始逐渐应用,但这一阶段的使用者主要是开发人员;2013年至今,随着数据的激增,大数据平台演进成了融合大数据平台,而随着AI等技术的突飞猛进,数据分析到数据挖掘,大数据平台向着智能化进行演进。

  我们知道,每个应用会产生、存储大量的数据,一般情况下这些数据并不能被其他应用所使用,所以就形成了“数据孤岛”。随着数据集市的兴起,应用的数据存储在一个集中的数据仓库中,可根据需要导出。但数据集市只解决了部分的问题,数据管理、数据所有权与安全性等问题亟需解决。

  自2009 年开始投入研究,最早于2014年推出商用产品,秉承开源开放的心态,践行“平台+生态”战略,华为云踩对了历史的进程,围绕政企大数据全生命周期,华为云FusionInsight是一个技术领先的云原生智能数据湖,是华为云三大使能之数据使能方案的坚实数据底座。在近日发布的《IDC MarketScape: 中国大数据管理平台厂商评估,2020》(以下简称IDC大数据报告)报告中,对中国主流大数据厂商从能力、战略、市场份额三个维度进行了全面评估,华为云位居领导者象限领先位置,并在技术实力和市场份额两大维度双领先。


  华为云 FusionInsight 的“硬核”之路

  可以看到,在IDC大数据报告中,有云服务厂商、传统ICT 厂商,以及大数据时代的创企等三类“玩家”。为何华为云能够脱颖而出?据了解,在技术创新方面,华为云FusionInsight智能数据湖具备了五大硬核能力:

  硬核能力之一:让政企客户在一个大、快、融、稳的数据湖架构下可持续演进

  大:传统的大数据单集群扩容受限,往往扩容到2000节点就难以突破,华为云FusionInsight通过大集群突破扩展性瓶颈,支持最大2万+节点大集群,还可集群联邦无限扩容。此大规模特性已在华为内部获得了实践,华为云流程IT通过FusionInsight构建OneData大数据集群,其规模已至1万+节点,支撑各部门运营分析、即席查询等大数据分析,每日新增数据近100TB,10万张表,即席查询任务日均1万+,批处理作业每日10万+。华为流程IT OneData大集群历经两次滚动升级,业务0中断,已稳定运行六年。

  快:因数据量仍在不断指数级增长,人们对大数据高效处理的极致追求永无止境!传统大数据存在分析链路长,以T+1事后报表为主。华为云FusionInsight MRS可T+0实时增量更新和实时OLAP,让大数据越用越”快“!华为集团IT基于FusionInsight,实现了CDC+FLINK的实时集成方案,支撑了主干交易、财经、供应等交易数据的增量整合模型落地,相对于传统数仓的ETL+调度方案,数据供给效率提升了10倍。

  融:传统大数据分析面临类型多、分布散、协同难等问题;FusionInsight通过HetuEngine实现五大融合,统一SQL接口仅用简单的SQL就可操作PB级数据,全民BI,让大数据越用越简单。某行基于FusionInsight构建金融大数据,通过HetuEngine统一SQL接口,解决数据分散,组件多、语言多等难题,降低技术开发门槛,跨源跨域跨引擎融合分析,数据免搬迁,降低整体TCO。

  稳:FusionInsight可保障一企一湖连续性,在线滚动升级,业务永远在线,无需拆集群、搬应用,彻底解决传统大数据集群多、效率低、管理难、升级难等问题,让升级过程中关键业务不中断,确保业务连续性。某运营商使用FusionInsight搭建了大数据平台应对5G数据浪涌,先后两次滚动升级实现了大数据平台的平滑演进,实现业务无中断,升级无感知,用户体验持续在线,单集群规模已扩展至1500+节点,支撑了各类政务、旅游、精准扶贫等200+大数据应用服务,覆盖用户1.3亿+。

  硬核能力之二:实时数据湖

  为了实现实时性,华为云FusionInsight提出了实时数据湖, 支持数据实时批量入湖、实时增量同步,全量数据供应效率T+0;可对贴源数据实时多维分析,缩短分析链路,提高分析效率,让数据价值近在眼前!

  硬核能力之三:云原生数据湖

  近几年,云原生是云计算领域关键的技术创新,华为云在云原生领域也探索多年,通过Data Lake Catalog数据湖目录,为超大规模分析引擎提供统一元数据服务,让数据全局可视可得;在数据存储方面,通过OBS存算分离方案,实现计算、存储按需扩容,基于企业级EC实现最低1.2副本,总体TCO下降20%+,让数据每bit成本更优!。湖内提供交互式分析引擎,可无缝对接BI报表和自助分析,实现秒级用数,数据免搬迁;湖内统一SQL接口,降低技术开发门槛,简化用数,实现技术领先的云原生数据湖。

  硬核能力之四:企业级数据仓库

  华为云FusionInsight为客户提供基于Shared-Nothing架构提供新一代开放的、全场景分析型数据仓库DWS,支持2048节点扩展能力;多层级全并行计算引擎,可调度海量的算力资源,通过高效的指令效率,实现数据导入和分析;具备多层级容灾能力,稳定可靠,离线、半在线、在线扩容技术,从容应对多种扩容场景。

  硬核能力之五:一站式数据湖治理中心

  华为云FusionInsight为客户提供一站式数据湖治理中心,助力企业快速构建从数据接入到分析的E2E数据治理体系,统一数据标准,加速数据资产化。通过全域数据视图统一信息架构,统一数据标准;通过一站式全栈平台实现30+异构数据源的高效数据集成;拥有开放完备的安全体系,数据分级分类,统一安全认证。

  通过以上五大“硬核”能力的加持,华为云FusionInsight新一代的数据湖,让大数据越用越快、越用越易、越用越稳、越用越省!

  “一企一湖,一城一湖”的梦想照进现实

  随着“新基建”的提出,智慧城市的不断深入,5G、AI、IoT等技术的广泛应用,城市中大数据不断在部门、行业之间流动成为趋势,城市中各职能部门和社会企业的数据需要融合分析,从割裂的数据孤岛,走向“一城一云一湖”。同时,企业越来越重视利用数据驱动业务增长,加速建成“一企一云一湖”。

  另一方面,纵观当今的大数据市场,技术的创新速度领先于市场的需求速度。技术提供商不断推出新的产品和新的理念,而行业用户却还在应用分析如何入门的门槛上挣扎。技术提供能力与用户需求、用户内部业务部门与IT 部门经常存在“脱节”。为响应政企客户业务发展需要与技术创新需求,结合自身用数经验和十年+行业积累,是华为云新一代智能数据湖FusionInsight应运而生的时代背景。

  在技术上持续创新打磨之外,华为云FusionInsight也是“最懂行”的大数据解决方案:

  在政府领域,国内50%的智慧城市都有华为云FusionInsight的孜孜不倦的身影,华为云大数据已支撑多个部委和各省市地区建设“大数据+政务”。在某市,华为云FusionInsight联合伙伴建成“一云二网三平台”,在统一的政务数据逻辑模型的指导下,针对民生、产业、政府的“痛点”和“难点”,从构建城市数据资源库为开端,以大数据分析支撑政府智慧决策,以建设智慧应用为抓手,打破信息孤岛,实现信息资源交换共享,在 “数聚惠民”、“数聚兴业”、“数聚善政”三大方面,发挥大数据的威力,支撑 “一号、一窗、一网” 政务服务,让简政放权、百姓办业务“最多跑一次”成为现实。

  在金融领域,国内50%的TOP20金融客户(含银行、证券、保险等)均已使用华为云FusionInsight构建其大数据平台。某行使用华为云FusionInsight构建大数据基础平台,支撑了银行企业级数据湖、数据仓库、集团信息库为核心的“一湖两库”建设,承载了总行及各支行业务系统,支撑日常银行BI、AI、数据挖掘、数据分析等,实现了一份数据全局可用,免除数据搬迁,提升协同效率10倍,存储周期提升2倍,资源利用率最大可达90%,加速银行数字化转型进程。

  在运营商领域,国内三大运营商均使用华为云FusionInsight构建其大数据平台。广东移动基于华为云FusionInsight,联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频等系列标杆应用,打通数据全生命周期链路,实现对内业务支撑、对外应用赋能,全面支撑了各类政务、民生等大数据应用服务。

  在交通领域,深圳地铁在6、10号线采用华为云FusionInsight构建大数据分析平台,打造领先的5G+大数据方案,并构建其数据资产中心和运行监控中心,承载地铁各业务系统,支撑设备健康、能耗管理、客流统计、线路中心级监控、应急决策和图像型火灾分析等线路级数据分析,数据分析效率从周级缩短至分钟级,实现高效运营,推动深圳步入更美好的全联接数字化轨道交通新时代…

  除过在以上各行业的应用,在环境保护方面,青海绿能数据有限公司基于华为云FusionInsight构建了国内首个能源大数据创新平台,实现了规划辅助决策、用气象数据科学指导发电等创新业务,为上下游产业链企业提供25类47项数据服务,推动28座新能源场站实现了“无人值班、少人值守”,并有效支撑了青海“绿电15日”,以大数据为基石,建设绿色新青海,守护高原和谐生态。

  同时,华为坚持“自己的降落伞自己先跳”,华为集团IT通过FusionInsight构建OneData大数据集群,实现大数据平台在大规模场景下的开拓,OneData集群其规模已至1万+节点;同时,实现了统一的数据管理服务,在菩提海UniDB产品中,通过逻辑统一方式,把50+物理分散的计算集群(Hadoop+MPP),基于五统一(数据安全,元数据目录,数据集成,数据访问,任务调度),整合成湖仓一体的架构,支撑上千个企业租户的PB级数据分析处理需求。一个基于FusionInsight MRS+DWS 的“+治理,+AI,+运营,+云”的融合数据底座(菩提海)已经在华为集团IT广泛使用,未来可期。

  以上只是“冰山的一角”,华为云FusionInsight一方面不断深入理解客户不断发展的业务诉求,另一方面,持续技术创新并引领行业发展,商业诉求+技术创新双轮驱动行业可持续、高质量发展,“用数”助力客户商业成功!上面的论述已经充分证明,华为云是“懂行”的大数据领导者,真正让客户用好数、管好数、放心用。

  据了解,截至2020 年10月底,华为云FusionInsight 智能数据湖已服务60+个国家和地区,3,000+客户,覆盖政府、金融、运营商、电力、传媒、医疗、教育、交通、油气、物流、零售、制造、互联网等行业。

  

  在万物互联的新时代,数字化转型进入到“深水区”的当下,越来越多的政企意识到“得数据者得天下”的真谛。如果把“数据”比喻成油田,那么如何“开采”让其充分发挥价值,让数据分析更简单?考验的不仅是大数据服务商的技术创新能力,还要深刻洞察不同行业的数据需求差异。可以肯定的是,华为云FusionInsight智能数据湖还将持续进化,助力千行百业释放出更大的数据价值。

上一篇: 宝德联手英特尔打造自动分布式可扩展推理平台 下一篇: 戴尔第五代存储为“新数据时代”赋能

成都市一环路南一段9号凯悦新城1区1112

028-64062427

zlb@zekaikj.com

关注我们

友情链接: 成都联想服务器工作站成都惠普服务器工作站
Copyright 2015 泽楷科技有限公司    蜀ICP备16023019号-1
展开