更新时间:2020-05-07 09:40:13
随着深度学习技术的不断突破,在行业技术和国家政策的双重驱动下,人工智能时代已经越来越近。网宿科技秉承技术驱动产品的思想,推出“智慧视频”系列产品,将AI技术不断赋能CDN,不断探索AI技术落地方案。而超分辨率功能是网宿“智慧视频”系列产品中的重要一环。
经过前两年爆发式的增长,直播、短视频等互联网视频行业的竞争也愈加激烈,视频逐渐向着高清化发展,但限于流量以及成本等因素。短视频和直播类型的应用还是以低分辨率为主。这在一定程度上限制了用户的观看体验,也降低了应用的竞争能力。
在这样的情况下,超分辨技术为视频行业的发展注入了新的动力,超分辨率是基于深度学习算法在终端将低分辨率重置为高分辨率的功能,深度学习算法模型对于图像细节处理上相比传统插值算法会更加细腻,不会产生锯齿和毛刺,效果成倍提升。将超分模型部署在终端,能够在观看端实现低请视频实时转换为高清视频,在不增加带宽成本的情况下提供画面更丰富,细节更突出,色彩更绚丽的高清视频。
网宿超分辨率与视频增强在使用方式和使用场景方面有一定的区别,超分辨主要应用在终端,通过嵌入SDK的方式提供服务。而视频增强则是通过网宿深度学习计算平台提供服务。
使用超分辨率功能需要嵌入SDK,播放器解码后,将视频帧输入SDK,SDK根据输入帧信息以及事先加载好的深度学习模型输出高分辨率视频帧。目前提供IOS、安卓、PC端SDK,提供基础和高级两种版本。
规格指标 | SDK |
支持功能 | 画质修复,2倍超分,3倍超分 |
支持视频格式 | yuv帧输入,yuv帧输出 |
支持视频输入分辨率 | 移动端最高360p,PC端最高540p |
支持平台 | Android5.0+,IOS10+,Windows,macOSX |
支持机型 | Android端支持采用高通骁龙660/820/821/835/845的机型IOS端支持iphone6s/ipad air 2以上的机型。PC端支持具有DirectX 11能力的独立显卡和部分集成显卡(Intel i3/i5/i7,AMD APU)机型 |
IOS端:需要提供IOS APP的Bundle ID作为唯一标示。
Android端:需要提供应用包名如:com.test.sdk。
根据需求选择需要的端,提供端唯一标示,将信息反馈给对应客服同事开通测试。
移动直播和短视频类应用视频分辨率较低,在360P以下居多,比较适合超分辨率的使用场景,在终端将360P视频内容超分到720P或者更高,能够极大的提升客户观看体验。
对于拥有大量老旧片源的客户,可以使用画质重生功能,对于老旧片源进行修复和重置。
无论是视频增强还是超分辨率功能都能够显著提升视频的清晰程度,在安防识别、无人机应用、智能制造视频分析领域都能够得到广泛的应用。
1. 由于超分辨率采用深度学习算法,需要使用GPU或者NPU进行计算,对于一些低端机型支持力度不够。
2. 由于需要进行大量的计算,程序会占用一定的内存并会产生发热的情况。