2020年1月4日,中国云计算生态发展峰会暨安徽信息技术应用创新产业联盟揭牌仪式在合肥隆重举行。会议云集政府领导、专家院士以及数百家知名企业,共同探讨信息技术应用的创新前景,剖析云计算生态产业的发展。会上,联想作为云计算生态发展联盟核心单位…
2016年被业界称为VR元年。从Facebook的Oculus到HTC的Vive,层出不穷的VR设备和VR内容让用户逐渐体验到VR的魅力。随着5G、云、AI等技术的不断突破,VR视频、VR直播从赛事、展会延伸到电商、教育、影视等行业,VR产业迎来前所未有的发展。IDC发布的《IDC全球增强和虚拟现实支出指南》预测,到2023年,中国AR/VR市场支出将达到652.1亿美元,较2019年的预测(65.3亿美元)大幅增长。但随着视频向高清、超高清发展的趋势,VR视频行业仍然面临高码率、高带宽成本、视频卡顿、延迟大、内容匮乏等痛点。
近日,在第二十届虚拟现实大会(ChinaVR2020)上,金山云研发总监范鸿飞针对上述难点,介绍了金山云在VR直播、超高清方面的整体解决方案和技术能力。
沉浸式VR直播金山云提供完整解决方案
沉浸式技术要实现大规模商业化,需要解决三大问题:VR内容、硬件设备、变现和生态,其中VR内容对技术要求非常高。范鸿飞表示,通过极智高清、FOV编码、金山云魔镜平台、低延时直播等技术和服务,金山云可以在VR内容层面提供高质量、低成本的整体解决方案。
金山云基于自有CDN分发平台,提供VR视频从采集到播放的完整端到端一体化解决方案,支持VR视频拼接和云端实时转码,为用户提供超高清、低延迟、并且没有头晕。经验。目前,金山云VR直播解决方案已在某秀场直播平台落地。
金山云集智能高清、KSC265、VR块传输解决方案确保在保持相同画质的情况下,码率比普通VR视频可降低75%,大幅降低带宽成本。在VR直播解决方案中,通过精湛的算法设计和强大的边缘计算能力,保证用户在切换视角时能够及时且难以察觉地切换到高清图块。金山云VR块传输解决方案稳定的云编码技术还可以有效控制新旧视角之间的数据延迟保持在30ms-60ms以内,有效消除晕动症。
此外,金山云VR直播解决方案支持iOS/Android手机、平板、头盔等多种头戴式显示播放设备。同时,金山云VRSDK支持一键接入、HLS直播/点播服务、定制开发多种开放接口,方便用户在多终端实时欣赏。范鸿飞说道。
AI智能高清工具,提升VR视频质量
在视频行业快速发展的过程中,用户的痛点也在发生变化:首先是用户终端的变化,从电视、PC、Pad到手机,再到大屏、超大屏,终端应用也有了很大的发展。其次,高清视频体验不断提升,分辨率从1k、4k到8k超高清。在带宽和网络都得到极大丰富的5G时代,用户对VR直播时高清画质的需求将会更加强烈。
针对这些痛点,金山云推出了基于AI技术和传统图像处理技术的解决方案。它集成了多种视觉AI和编码技术,利用深度神经网络感知视频内容,智能调整编码,优化主观体验,追求人眼更好的视觉体验。
集智高清拥有四大核心优势:1、集智高清处理后的视频传输可节省30%-60%带宽;2、与普通转码相比,极智高清可以显着提升主观效果;3、通过预分析的场景分类和质量评估,匹配更合适的编码控制,找到编码的解决方案;4.极智高清对视频进行分层处理,增强视觉重要部分的图像质量。
范鸿飞表示,金山云智能高清的优势与其背后的四大核心技术支撑密不可分。利用超分辨率技术修复图像质量,包括采集端编码、采集噪声、投影等引起的噪声;感知编码技术可以检测人眼真正敏感的区域,保护边缘部分,同时将码率分配到更重要的地方;通过聚焦区域,可以追踪VR视频中人眼聚焦区域的视野,并在不同的Tiles上进行复用。根据视频本身的内容特征和首次编码的信息,极智高清可以自动确定更多匹配的编码参数。用户完全不需要感知编码器设置内容即可解决参数调整问题。
金山云魔镜平台,高清技术背后的功臣
高清视频的发展使得用户对视频/图像质量的要求不断提高,评估其真实体验的难度也相应增加。如何全面、客观地评价视频图像质量是否得到提升?就此而言,金山云魔镜平台堪称高清技术的无名英雄。因为金山云魔镜平台通过模拟实际观看体验,真正评估“感知愉悦”,深入分析算法对主观图像质量的影响,克服AB测试的局限性,不仅可以获得“好或坏”不好”,但是你可以知道“什么是好的”和“为什么是好的”。范鸿飞说道。
金山云魔镜平台兼容H.264、H.265、AV1编码标准的视频播放。它作为在线平台提供图像/视频评估服务,无需下载,并根据具体场景提供三种评估模式:专家模式(全参考模式)、用户模式(无参考模式)和细粒度模式(OAA模式)。
除了平台本身提供的完整的图像质量评估流程外,金山云魔镜平台还可以帮助企业提供全流程的图像质量评估解决方案,包括根据企业使用场景和样本类型筛选评估数据,定制评价维度,提供评价提供人数建议和评价报告分析,提供客观评价指标的自动计算。
通过高效的主观图像质量验证,金山云魔镜平台可以帮助企业:实现算法原型的短期快速验证;长期算法迭代并提供可测量的图像质量指标;帮助AI保证泛化,满足商业落地需求。
5G、4K/8K、VR等新技术新应用正在与云计算、人工智能深度融合。未来直播中的用户将获得与现场几乎相同的沉浸式体验。这也是金山云视频云前进的方向。和目标。