忽略带宽对延时的影响
理解误区 #05
最后一个误解,我们往往会忽略带宽对延时的影响。比如我们处理一些小包的时候,延时还是很低的,一旦加载业务,延时就变成15毫秒甚至40毫秒,100毫秒。
在座的很多同行应该是做视频的,除了无限GOP场景,对视频进行编码的时候存在I帧,后面紧接着P帧,可能还有B帧,依次循环。一个I帧很大,可能是P帧的很多倍,这取决于编码时的参数设定。假设可用带宽的平均码率是10兆,如果给我们一个10兆带宽的平滑流,我们确实可以很快的传输出去,但是视频是突发的,尤其对于I帧来说。最后我们会发现,I帧的传输会花费很多时间,甚至阻碍了下一帧,B帧或者P帧的传输。这里我列举一个数据,比如我上传一个10兆的视频流I帧可能会达到200kb,这时哪怕使用100兆的带宽去传输,可能也需要16毫秒,这是什么概念?如果在云游戏里,假设帧率是60,2帧的间隔就是16毫秒。也就是说10兆码流的视频我需要使用100兆的带宽传输才能让它不影响下一帧的传输。
所以为什么我们说5G对于云游戏的发展是个有利优势,因为大带宽带来的是低延迟。4G很难做到很大的下行速率,而现在很多云游戏的厂商会用到20兆或25兆的带宽。
低延时与“5G+边缘计算”
现在我们可以把前面讲的所有东西串起来,来聊聊MEC。狭义的MEC我们成为移动边缘计算,后来3GPP可能觉得不够酷,把M改成Multi-Access(多接入边缘计算)把它的范围扩大了,不再仅仅针对移动。最开始的想法,是利用UPF下沉(拉近出口网关和基站的距离),这时候可以在UPF所在的机房把计算资源和存储资源放在那里,其优势在于在与终端用户距离很短的时候延时会很低。把计算资源放在UPF机房和把计算资源放在中心机房,两者的延时差距还是挺大的,特别中心机房可能和UPF机房不是同省。
虎牙在边缘计算方面曾经做过一个尝试,我们在直播时希望给主播的形象做一些漫画风格的转换。但是我们发现很多主播的直播设备性能并不是特别优异,特别是一些低端或中端的手机,所以很难在手机做一些困难的风格转换。这时候我们想,能不能把计算这部分放到云端,利用低延时技术来实现。
大致过程如下,主播的头像通过镜头到CMOS感光之后通过ISP的处理,然后在送到APP,APP做一些前处理,随后编码,通过网络传过去。边缘机房的AI节点必须先解码,随后在做一些相应的AI处理,这时又要重新编码一路流,随后分发给观众,另外一路流返回给主播,主播收到流后经过解码和渲染,这才能看到自己被变换过图像;这个过程对于主播的感受来说,就像是在手机上完成的一个处理。这是一个非常美好的想法。
主播能感受到的延时就是图上1~4的步骤。那么大家觉得我们每个阶段,比如采集,编码,传输,解码,渲染延时最高的是哪个阶段?其实是采集阶段。安卓手机端或iphone11以下的机型,大家拿着摄像头对着自己,敏感的人是可以感受到延迟的,即使是自己的摄像头做本地的预览,延迟的时间在80~120毫秒之间。手机的操作无非就是成像,成像完成以后从中读出来,然后送到ISP处理,处理完以后送去做渲染。安卓摄像头的管线深度和整个架构处理决定了延时的高低,这点当时被我们忽略了。在某些场景下,网络未必是瓶颈。网络可以做到很低延时,特别是在传输上,RTT20~30毫秒是可以达到的。对于一般的1080P手机编码就需要30~40毫秒,但是采集很有可能花费3帧的时间。所以我们在尝试边缘计算的时候,我们要想我们的瓶颈真的是在网络上吗?
5G与Wi-Fi的区别
现在我想讲一讲虎牙对于5G低延时的思考,我们内部讨论了很多关于Wi-Fi和5G的关系。通过全网数据你会发现用户的两个通道,一个是Wi-Fi,一个是4G,坦白来说大部分流量还是来自于Wi-Fi,来自于家庭宽带的流量。对于手机4G用户来说,也很少会用到运营商提供的超低延时的服务。即使到了5G,我们大概率也不会用到URLLC,也不会用MTC这种物联网专用网络,我们使用更多的还是eMBB的业务。
在空口中,eMBB的RTT是8毫秒,而好一点的Wi-Fi可以做到2毫秒。市面上质量较差的Wi-Fi是因为还在使用2.4G频段(易被干扰)或Wi-Fi 4或较差的AP网关。坦白来说,如果在座各位能够让自己平台所有用户的Wi-Fi及时升级,相信能减少不少视频卡顿率。eMBB的理论延时比Wi-Fi的实际延时还会高一些,甚至现在的Wi-Fi 6以及抗干扰的Wi-Fi 6E(使用新频段,不会受到2.4G或5G的影响),有可能更加拉大了Wi-Fi和5G的延时差距。
我们能做的就是等待,看看5G在现网优化的情况如何,以及毫米波的应用。毫米波并未在我国广泛使用,我们使用的是SUB-6G的频段。毫米波覆盖范围有限,但是可用的频宽资源很多,所以可以达到很大的带宽,在未来会在我国一些热点技术作为补强的应用。一旦毫米波进入市场,我认为有可能缩小5G和Wi-Fi低延时上的差距,当然能做的只是缩小差距,当然这只是我一家之言。那这时候有个问题就出现了,如果在延时上比不过Wi-Fi,我们如何定位5G?5G在移动性、广域覆盖方面比Wi-Fi有优势,我们不可能背着Wi-Fi到处走,尤其是户外场景。所以我们需要自己判断,哪些业务、场景适合使用5G。5G在广域覆盖上的优势值得被关注,我们需要考虑它和我们的业务是否有亲和性。
我个人认为类似于AR,AR眼镜,户外直播等这种业务和5G就有比较好的亲和性。顺带一提,我不会为5G+这类产品买单,因为VR和5G并没有什么关系,VR更多的是在室内的应用,在室内Wi-Fi不比5G更好用吗?同时5G还存在流量资费的问题。但是AR就不同了,因为我必须要走,必须和现场结合,户外直播同理。
10毫秒级互动时代
我们还有一个思考,随着的进步, 10毫秒级的互动时代即将到来。我们现在还有另一种5G叫F5G,就是所谓的第五代固网,也就是光纤到房间和Wi-Fi 6。它的延时一定是非常低的,而且覆盖强,带宽高。说回我们的5G,理论上我们布网布的好,10~20毫秒的RTT还是可以满足的。即使到了野外,没有Wi-Fi和5G的覆盖,我们哪怕用低轨道卫星(300km~500km距离)也能做到20~30毫秒的RTT,也就是说整个世界都能包围在相对低延时的网络中。整个链条如果能够建成,我们完全可以做到百毫秒级以内的端到端的延迟。如果说之前我们考虑的更多的是秒级,百毫秒级上的直播的话,现在我们就需要考虑更广泛的10毫秒级的问题。所以未来Wi-Fi主要是在室内,5G可能主要应用在户外、商场等。至于野外,以前我们一直很想去西藏直播,有了低轨道卫星后,这也能成为一种选择。
虎牙的实践主要是往两个方向发力发展,实时内容操作和直播互动。我们认为延时会慢慢降低,互动能表现出不一样的体验。所以我们投入到大家熟悉的云游戏,还有多人的互动,甚至多人互动游戏结合直播场景,还有虚实结合的互动直播我们也一直在探索。
但在技术层上,我需要一张优秀的端到端的网络来保证超低延时的互动。除了Wi-Fi(但是它的空口仍有很多优化的空间),运营商也会加大5G QoS开放的力度。我们也会依赖于5G QoS加上多接入(双链路,Wi-Fi 5G同时接入)以及公网多路径,加上类似于SDWAN的手段来构建一张LDDN的网络(低延时确定性网络)。
5G低延时其他落地方向
抛开直播,抛开虎牙,我们来看一看5G低延时有没有其他场景的落地方向。to B方面我非常看好车路协同的应用,还有边缘智能;比如视频应用,上传视频到边缘,边缘做完处理后做一些结构化或抽取处理,做完后视频就不会再被送到远在千里之外的云的中心机房。不管是对于计算还是对于网络,这都是一个比较好的资源卸载(offlong)。还有一些远程的控制和协作,工业上AR的应用,举个例子,我们可以坐在家里能指导欧洲的一个工人修车。当然,还有包括自动驾驶方面。
在to C上有一点要能抓住,就是要明晰5G和Wi-Fi的区别。Wi-Fi能够做到的事情,没有人愿意用5G。在国内90%以上家庭是拥有宽带的,这其中94%还是光纤,所以在中国应该很少在室内需要用5G做一些宽带的接入。我们要关注哪些应用与5G有亲和性。也许未来,自动驾驶进入市场以后,了,那坐在车上可能需要一些娱乐,汽车只能通过无线连接,那就只能用5G。
但是5G低延时仍然存在不少问题,整个国家的5G网络是在轻载的,现在的延迟还是马马虎虎,等到重载之后延迟能维持在多少需要拭目以待。毫米波有自己的优势,但在国内何时上线?另外我们更关注业务中端到端的低延时,这依赖于整个生态链的成熟,我在之前举过例子,摄像头的采集,如果一直存在2~3帧的延迟,那端到端的延时瓶颈就很难突破。还有操作系统本身,摄像头的延时也和操作系统本身密不可分,比如安卓手机对于相机的设置,整个peline的深度决定了延时的高低。另外有一个例子,安卓11 Media Codec2.0对低延时解码做了一些增强,后面类似的案例会出现的更多。另外,我们编写应用程序的时候是否为低延时做好了准备,我和很多开发者交流,他们的播放用的还是层的API,如果不用openSL ES或AAudio,java那层的音频播放延迟在手机上会达到200毫秒,这样前面在网络层面的一切努力都是徒劳了。
对于技术挑战来说,前面RTC也提到过。对于虎牙来说,我们想跟进无线接入网的QoS,我们可能依赖于运营商给我们开放的QoS;同时,因为空口的优化在整个链路的优化上是远远不够的,我们还会采用多接入(Wi-Fi 5G或Wi-Fi 4G双链路)包括公网上多接入的路由,甚至是多径的低相关的路由来保证我可靠性的传输。这时我构建的不是电信级的确定性的网络,我们只需要简配版的,足够支撑我超低延时的就够了。市场运营层面上,运营商不停在宣传5G,但是5G的费用相比Wi-Fi没有价格优势,还存在着套餐流量不够用的问题;此外,未来一定会有延时差异化的产品(低延时和超低延时和一般延时),这涉及到QoS如何推广的问题。因此,运营商的策略对5G的发展影响很深。
总结
简单做个总结:5G的延时在理论上和工程数据上是有相当的差距的,我们需要正视这个问题;我们更多的不只是需要空口的超低延时,而是端到端的低延时;5G不是万能的,它更多的只是从空间维度扩大了你的业务,把你之前无法做到的业务扩展开来;从技术上来说,为了迎接我们的10毫秒级低延时时代,我们需要自建一条累加的低延时确定性网络。
原文标题:5G低延时的误区和机会——从理论到工程落地的数据差异
文章出处:【微信公众号:LiveVideoStack】欢迎添加关注!文章转载请注明出处。