Facebook宣布神经超采样实时渲染,实现VR高清显示新突破,低清图像实时转高清

VR/AR
2020
07/02
22:26
映维网
分享
评论

来源:映维网 作者 流水原

VR实时渲染提出了一系列独特的挑战,其中最主要的是支持图片级真实感效果,实现更高的分辨率,并达到比以往任何时候都更高的刷新率。为了应对这一问题,Facebook Reality Labs(FRL)的研究人员开发了DeepFocus。这个于2018年12月首次亮相的渲染系统主要是利用人工智能在变焦头显中创建超逼真的视觉效果。团队将在今年的SIGGRAPH大会介绍研究的下一篇章,并表示它将开启为虚拟现实创造未来高保真显示器的全新里程碑。

延伸阅读:Facebook研发AI注视点渲染DeepFovea,为一体机VR大大提升渲染效能

延伸阅读:Facebook开源DeepFocus,实现逼真散焦效果,推动下一代VR头显技术

将在SIGGRAPH大会介绍的论文名为“Neural Supersampling for Real-time Rendering(用于实时渲染的神经超采样)”介绍了一种可以将低分辨率输入图像转换为高分辨率输出的机器学习方法。这种upsampling(上采样)过程利用了神经网络并以场景统计进行训练,从而能够恢复清晰的细节,同时节省在实时应用程序中直接渲染所述细节的计算开销。

上面的GIF动图比较了低分辨率颜色输出和神经超采样方法实现的16x超采样输出。

1. 研究的是什么?

为了降低高分辨率显示器的渲染成本,FRL使用的输入图像的像素比期望输出少16倍。例如,如果目标显示器的分辨率为3840×2160,FRL的神经网络将以游戏引擎渲染的960×540分辨率输入图像着手,并作为一种实时后处理过程将其upsample(上采样)至目标显示分辨率。

尽管社区已经存在大量关于摄影图像的机器学习upsampling(上采样)研究,但没有一个直接谈及渲染内容(如游戏引擎生成的图像)的独特需求。这是由于渲染图像和摄影图像在图像形成方面的根本区别。在实时渲染中,每个采样点在空间和时间上都是一个点。所以渲染内容通常是高度锯齿,会产生锯齿状的线条和其他采样伪影。对于这一点,你可以参阅本文的低分辨率输入示例。这使得渲染内容的upsampling上采样既是一个抗锯齿问题,同时又是一个内插问题,不同于已得到计算机视觉领域充分研究的去噪和去模糊问题。对于输入图像高度锯齿,以及需要插值的像素完全丢失信息这一事实,这为渲染内容生成高保真和时间相干重建提出了重大挑战。

用作神经超采样方法输入的示例渲染属性以低分辨率渲染,包括颜色、深度和密集运动矢量。

另一方面,在实时渲染中,我们可以拥有的不仅只是摄像头生成的彩色图像。正如DeepFocus所示,现代渲染引擎中可以同时提供深度值等附加信息。FRL研究人员发现,对于神经超采样,由运动矢量提供的附加辅助信息特别有效。运动矢量定义了序列帧中像素之间的几何对应关系。换言之,每个运动矢量指向一个亚像素位置,其中在一帧中可见的曲面点可能已经出现在上一帧中。所述值通常是利用计算机视觉方法进行估计,但这种光流估计算法容易出错。相比之下,渲染引擎可以直接生成密集运动矢量,从而为应用于渲染内容的神经超采样提供可靠的、丰富的输入。

FRL的方法是以上述观察作为基础,同时结合额外的附加信息,以及一个旨在最大限度提高图像和视频质量并提供实时性能的全新时空神经网络设计。

相关论文:Neural Supersampling for Real-time Rendering

腾讯文档下载:Neural Supersampling for Real-time Rendering

在推理时,神经网络以低分辨率渲染当前帧和多个先前帧的渲染属性作为输入,如每帧的颜色、深度贴图和密集运动矢量。网络的输出是与当前帧相对应的高分辨率彩色图像。网络采用监督学习的方法进行训练。在训练时,提供采用抗锯齿函数并以高分辨率渲染,同时与每个低分辨率输入帧配对的参考图像,将其作为训练优化的目标图像。

示例结果:从上到下是低分辨率颜色输入;所介绍方法的16x超采样结果;以及离线渲染的目标高分辨率图像。

示例结果:从上到下是低分辨率颜色输入;所介绍方法的16x超采样结果;以及离线渲染的目标高分辨率图像。

示例结果:从左到右是低分辨率颜色输入;所介绍方法的16x超采样结果;以及离线渲染的目标高分辨率图像。

2. 下一步计划

FRL团队表示:“神经渲染在AR/VR中有着巨大的潜力。尽管这一问题具有挑战性,但我们希望鼓励更多的研究人员在这方面开展研究。随着AR/VR显示器向着更高分辨率、更快帧速率和更高真实感的方向发展,神经超采样方法可能是从场景数据中推断出清晰细节而非直接渲染的关键。这项研究为未来的高分辨率VR指明了方向,不仅仅是关于显示器,同时包括实际驱动所需的算法。”

原文链接:https://yivian.com/news/76087.html

THE END
广告、内容合作请点击这里 寻求合作
VR
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

在离开Facebook并创办开始在美国南方建立“虚拟边境墙”的Anduril的三年后,帕尔默·拉奇(Palmer Luckey)又迎来了一次成功。Oculus创始人帕尔默·拉奇新创办的科技国防公司Anduril完成了由安德森·霍洛维茨...
VR
据彭博社消息,育碧的多名员工,包括两名高管,已被行政停职,因为该公司在被指控有职业不端行为后,正在进行企业调查。
VR
自特朗普当选美国总统以来,关于白人民族主义的讨论似乎就没停止过。如今,这场舆论之争正在美国互联网平台持续发酵。
VR
AT&T的低频带5G网络已扩展到28个地区,包括奥斯汀、迈阿密、达拉斯和盐湖城。
VR
在今年的WWDC苹果开发者大会上,苹果宣布将为Mac使用自研的Apple Silicon ARM架构处理器上,同时操作系统也进化到全新的macOS Big Sur 11.0,虽然依然会有Intel产品线依的存在,但是苹果已经开始脱离Intel...
VR

相关推荐

1
3