华为云存储的“微秒时代”

  微秒有多快呢?一微秒为一百万分之一秒,显然超乎了人类可感知的速度。

  当我们进入到5G时代,“微秒”开始越来越多地被人们提及。最具诱惑力的是,当网络传输的时延到达微秒级别时,很多产业将发生颠覆性的变化,各种“无人”产业将赋予我们全新的生活方式,然而这些产业对于云存储的实时处理能力也提出了更高的要求。

  近日,华为云发布了存储All-Flash战略,并推出战略落地的首款产品——全新一代极速IO云硬盘,标志着华为云存储正式进入了“微秒时代”。

  打破数据时延的“最后一公里”

  数据处理的旅程中除了广域网的时延,如何降低数据途径网络到达介质这“最后一公里”的时延也非常关键。在数据中心里面,时延瓶颈可以大致看作两段,第一段是软件、网络、服务器这段的时延;第二段则是存储介质本身的时延。如果要从毫秒进入到微秒时代,必须把这两段时延的瓶颈全部打破。


华为云CTO 张宇昕

  为了突破“最后一公里”,平均时延达4毫秒的机械硬盘(7200转)成为了第一个被优化的对象。相比机械硬盘,Flash介质具有更强的性能,更低的时延,以及更高的可靠性。“我们可以把四毫秒左右的时延,缩短到几十微秒的级别,围绕介质上的能力,我们设计了这样的一个全新的Flash-Native存储引擎。”华为云CTO张宇昕在采访中介绍道。

  针对Flash本身擦除寿命、不支持覆盖写等限制,Flash-Native存储引擎经过全新设计,采用Flash友好的数据布局,可提升Flash寿命5倍以上,数据持久性高达11个9。引擎可支持不同负载的应用,发挥了多核调度优势并保证数据读写路径最优,带来低于百微秒的时延与百倍以上并发访问性能的提升。

  针对系统层级的时延,华为云则通过软硬件架构和数据中心架构的优化,实现了极简扁平网络,也实现了多核免锁并发,使得软件和网络的时延也降到了极低。整个数据处理IO从进来到出去,能实现50μs -100μs的稳定时延。

  实现架构和存储引擎的两大创新离不开华为全系列自研芯片与架构的紧密配合。“我们一些软硬件架构优化,很多能力是承载在华为芯片上的,比如说软件的优化,承载在多核处理器芯片上;网络的优化承载于高性能智能网卡芯片,通过网络芯片和SSD存储卡控制芯片,把整个IO路径重构,这样才可做到极低时延。”张宇昕说道。“很多核心技术其实就是算法,算法需要长期的积累,才能不断地逼近能力极限。”

  这也是华为云为应对数据在海量、实时、智能方面的挑战而做出的努力。

  “越用越快”的奥秘

  人们使用手机电脑等设备时,往往会觉得它们运行速度“越用越慢“,这是因为设备存储介质的碎片变多了,影响了访问和数据响应的速度。在企业的数据中心或云数据中心中也会有类似的情况,“变慢”在很大程度上是由于数据在数据中心的布局,以及数据存储所提供的IO能力与业务需求的不匹配。在企业数据中心里有多套存储,每一套存储对应一个应用,问题不大。但在云数据中心中,云存储并不是一个用户使用,而是多租户共享,数据布局也不是用户完全能控制的。在这种情况下,很可能存在系统的均衡性问题。如果数据布局远了,网络时延就高;或者明明是一个高IO或高并发特性的应用,结果只配备了一个大带宽的能力,这就是需求和实际情况的不匹配。当数据量增大,租户越来越多,相互之间也可能存在资源争抢,这种问题就会加剧。那么,如何解决这类问题?

  张宇昕表示,要预防上述问题,需要知道用户应用与存储能力的要求是否做到了最佳匹配。如果通过运维人员及时响应客户需求、去调整配置和调整优化,毕竟还是有一定的响应时延。“必须应用人工智能的技术,因为这是对未来的预测,而不是针对过去发生的问题进行被动处理。”要实现对未来的预测,就需要积累过去的数据,比如系统运行的日志数据、运维数据、运营数据等。现在,AI预测能力可预判30天性能趋势、提前14天发现故障盘并自动隔离。AI控制的引入,可智能预测用户性能趋势,并根据用户提前配置的自动扩容等策略完成调整,免人工干预保障业务平稳。对此,张宇昕表示,“ 客户在不断使用的过程中,存储系统通过对业务模型的学习,能预测在何时会发生更高峰的访问、访问类型是什么,从而能把客户需求和存储提供的资源进行最佳匹配。从用户的感受来讲,不是‘越来越慢’,而是客户的要求,都能得到满足。随着AI学习的深入,训练数目的增加,训练精度的提升,满足程度会越来越高。相当于越来越了解用户,用户的需求迅速得以满足,这就是‘越用越快’。”

  写在最后

  据调查显示,在数据爆炸式增长的今天,目前企业数据利用率只有10%,数据价值远远没有得到充分的释放。如何应对数据激增,发掘数据的内在价值?虽然听起来还是有些“科幻”的意味,但只有云存储进入百微秒量级,才能满足很多行业应用的实时性要求。

  正如张宇昕所说,“核心是能够逼近介质能力的极限。通过我们技术的创新、架构的变化、算法的创新、芯片的能力,让整个系统更逼近摩尔定律的极限,这是我们一直的追求。”

  见微知智,华为云存储All-Flash战略已经拉开序幕,这或许已是微秒级世界的制高点,从硬件核芯,软件引擎,到数学算法,极速源于智能无处不在。从细微之处发掘智慧的轨迹,让数据学会了思考,让信息学会了交流,未来始于智能无所不能。

上一篇: 华为云存储All-Flash战略发布 推出全新一代极速IO云硬盘 下一篇: 联想发布全新融合计算平台 驱动产业变革

成都市一环路南一段20号普利大厦B座904

028-64062427

zlb@zekaikj.com

关注我们

Copyright 2015 泽楷科技有限公司    蜀ICP备16023019号-1
展开