产品动态 > 正文

网宿超低延时直播技术升级,推动延时低至毫秒级!

2022-06-23

从2016年的“千播大战”开始到今天,经过6年多发展,直播产业已经从泛娱乐逐步渗透到电商、教育等众多领域,而随着AI、云计算、音视频等技术日趋成熟,以及新冠疫情带来的“宅经济”催化下,网络直播用户规模呈现大幅增长趋势。

穿过数字经济的短炒热潮,看老牌CDN企业的长期逻辑

根据中国互联网络信息中心(CNNIC)发布第49次《中国互联网络发展状况统计报告》统计数据显示,截至2021年12月,我国网络直播用户规模达7.03亿,较2019年6月增长了2.7亿,直播正在对各行各业进行全面赋能。

穿过数字经济的短炒热潮,看老牌CDN企业的长期逻辑

01 超低延时直播元年,需要怎样的直播技术

如果说,2016年是业界公认的“直播元年”,那么,2022年将进入“超低延时直播元年”

随着直播业务规模的高速增长,直播技术本身也在不断发展。在传统的直播架构中,主播端通过RTMP推流,中间经过CDN网络分发,用户端通过常见的RTMP/FLV/HLS等协议进行拉流观看。RTMP/FLV直播协议通常会产生3-5秒的延时,如果经过层层CDN的缓存、转码和分发,可能会超过10秒,HLS协议的延时则更高。显然,传统的直播技术已经难以满足业务对低延时的渴求。

穿过数字经济的短炒热潮,看老牌CDN企业的长期逻辑

电商直播、远程物联、赛事直播、VR直播等低延时直播场景不断涌现,面对如何优化延时过高这个难题,整个行业都在积极探索创新方向。而随着WebRTC技术的出现,直播行业开始向更低延时的方向发展。

WebRTC在低延时和抗弱网方面具备天然优势,但标准WebRTC所支持的音视频编码格式和数据传输效率仍旧很难满足国内直播行业的需求。

具体体现为:

1、标准WebRTC的音视频编码格式支持受限,标准WebRTC音频格式只支持Opus,不支持AAC;视频编码格式只支持VP8/VP9和不带B帧的H264,而国内主流的音视频格式基本是H.265/H.264+AAC格式,进一步限制了WebRTC在超低延时直播领域的应用。

2、标准WebRTC的数据传输是经过加密的,加密会进一步增加握手时间和传输带宽。在直播业务上,网宿已经做了一系列安全措施,比如防盗链、回源鉴权等,保证直播链接安全的前提下,对标准WebRTC数据加密进行改造,减少首屏时间,降低带宽成本。

3、标准webrtc协议只规范了基本的实时通信规则,需要根据直播行业的业务需求进一步配套支持转码、录制、截图审核等等能力,形成完整直播服务方案。

02 网宿低延时直播基于WebRTC的优化升级

针对上述问题,网宿科技自去年起就将WebRTC引入超低延时直播领域,基于对标准WebRTC进行全新的技术优化升级,以及对传统 CDN 网络架构的融合改造,推出WRTC超低延时直播产品,将延时降低到500ms以内。

穿过数字经济的短炒热潮,看老牌CDN企业的长期逻辑

1、在直播推流侧,支持多种推流方式

方式一:使用WebRTC推流。优点是省去通过标准WebRTC拉流的场景下音频opus转码和视频去B帧转码,从而避免转码成本和转码延迟。

常见的WebRTC推流方式:1、OBS WebRTC推流插件:OBS作为PC端主流的推流软件,网宿可以为用户提供相应的推流插件,用户可以直接使用OBS进行WebRTC推流;2、H5 WebRTC推流SDK:目前主流浏览器基本都支持WebRTC推流,网宿为用户提供一整套的H5推流SDK,方便用户在短时间迅速集成WebRTC推流功能。

方式二:复用标准直播协议RTMP/SRT推流。用户直接使用现有的推流客户端,平滑迁移到WRTC低延时直播产品,无需做任何改造,减少投入成本。

2、对直播传输进行深度优化

WRTC基于WebRTC做了一些功能扩展和升级,支持AAC以避免WebRTC中Opus音频格式的转码;支持H.265从而避免转码成本和转码延迟;支持B帧以大幅减少码率;同时,WRTC可根据实际需求去掉标准WebRTC的DTLS加密,减少前后端开销,进一步节省握手耗时。

与此同时,WRTC基于全球2800+CDN节点的千万级分发能力,采用深度优化的自研协议栈对传输进行加速,保证低延时的体验;也兼容传统直播架构的配套流媒体功能,包括转码、录制、鉴黄、水印、防盗链等一体化视频流处理服务,实现与传统直播的无缝衔接。

3、在直播拉流侧,提供多终端平台SDK

WRTC提供Android/IOS/H5多终端平台SDK,以满足不同用户灵活的接入需求。针对已具备自有播放器或集成其他厂家播放器的用户,WRTC提供proxy版本的SDK,用户无需改造现有播放器业务逻辑,即可快速集成proxy版SDK进行低延时直播拉流;同时,WRTC提供带有player版本的sdk,针对技术实力较为薄弱的用户,可以轻松集成player sdk进行拉流,降低研发成本。

03 落地有声,将延时大幅缩短至毫秒级

以某大型赛事直播平台为例。

大部分的赛事直播通常采用RTMP协议进行全平台的直播分发,包括英雄联盟、英超直播、世界杯、奥运会等重大赛事,延迟在3-5s左右。而类似足球进球瞬间,基于传统直播经常出现楼上邻居已经开始欢呼,自己看到的却还是进球之前几秒的画面,无法媲美电视直播的实时性,对于平台的体验反馈大打折扣。国内某头部赛事直播平台当前已大规模应用网宿WRTC低延时直播技术,将延时降低到465毫秒,让全国线上观众第一时间获取赛事直播画面,提升用户的沉浸式参与感。

穿过数字经济的短炒热潮,看老牌CDN企业的长期逻辑

再比如远程物联。

疫情期间,部分城市实行封控措施,民众出门时间减少了,线上远程娱乐设备逐渐流行起来,如线上抓娃娃机、线上打靶机等。这些场景都需要用户通过视频观察进行远程操控,对于画面的延时要求极其敏感,基于WRTC低至毫秒级别的延时,可以真实还原抓娃娃场景,根据视频实时画面进行远程控制,让用户感受到沉浸式体验。

穿过数字经济的短炒热潮,看老牌CDN企业的长期逻辑

从去年至今,网宿WRTC低延时直播技术架构不断升级,已被广泛应用电商直播、体育直播、远程物联、在线教育、视频监控、VR直播等直播场景,例如在电商直播中,WRTC可以让买家和卖家达到实时互动,提升购买转化率;例如在疫情期间很多学校都开展了线上课堂,为了真实还原线下课堂的互动体验,基于WRTC来保障老师和学生之间畅通无阻的沟通,再辅以答题、白板等互动功能模块,提升线上课堂的教学质量。

未来,网宿WRTC低延时直播技术也将持续探索更多的直播场景,助力更多的产业实现线上的直播迁移和业务增长。

本文内容的版权持有者为网宿科技股份有限公司(“网宿科技”),未经许可,不得转载。