英特尔“自由视图合成”技术可实现照片级3D图像渲染效果

VR/AR
2020
08/29
18:47
映维网
分享
评论

来源:映维网

如果我说“优秀的图形”,你大概会认为这是指支持高分辨率纹理和光追的最新3A级游戏。如果我说“照片级真实感”,答案可能会类似,但会额外关注图形细节和真实世界之间的相似性。不过,英特尔实验室的最新研究向我们展示了何谓照片级真实感,以及其在游戏开发方面的应用,尤其是虚拟现实。

这种新技术名为Free View Synthesis(自由视图合成),它可以利用你从环境中获取源图像(如在森林行走时录制的视频),并重建和渲染图像描述的环境,而且这一切是以完全的“照片级真实感”3D格式进行。你将能拥有玩家般的“Target View(目标视图)”,然后在这个环境中自由行走并产生新的真实感视图。值得一提的是,研究人员将在ECCV2020展示相关的研究,有兴趣的读者可以关注大会。

这种技术对游戏开发的应用显而易见。就理论而言,当拥有了真实世界的图片,系统就能够自动生成一个不仅在布局和内容方面相同,而且在外观方面同样接近的游戏环境。利用所述技术,游戏开发者能够快速轻松地进行关卡设计,并实现可与现实媲美的视觉逼真度。

Free View Synthesis(自由视图合成)拥有大量的应用,但具体到游戏方面,英特尔实验室智能系统的首席科学家弗拉登·科尔顿(Vladen Koltun)指出“它可以创造出与现实别无二致的游戏”。

具体的技术细节请参阅下面的论文,但概要而言,根据源图像产生的环境是利用了Structure from Motion(SfM)和Multi-View Stereo(MVS),它们可以创建一个代理深度映射,然后,目标视图通过“卷积网络”重投影和处理特征,从而合成新视图。简而言之:获取源图像,根据图像创建一个“深度映射”环境,然后使用卷积网络合成新视图。

相关论文:Free View Synthesis

“这会涉及在经典图形管道中遇到的一定几何计算,然后再通过一个卷积网络,正如你在标准深度网络推理中看到的那样。”团队将深度学习用于只有有限数量源图像作为参考的真实场景,并创建照片级真实感视图的任务。

下面的视频展示了其他尝试做类似事情的技术,包括NPBG。但正如视频所示,Free View Synthesis(自由视图合成)可以产生稍微更好的效果。

科尔顿指出,SfM和MVS的使用对于Free View Synthesis(自由视图合成)非常重要,“许多其他技术没有像我们那样使用SfM/MVS”。研究人员认为不重视SfM/MVS已经取得(并将继续取得)的所有惊人进展是非常浪费的事情,“相反,我们应该以其作为基础,并再接再厉。我们的方法之所以能达到如此高的保真度,很大程度上要归功于SfM/MVS技术在过去30年间所取得的进步。”

就理论而言,利用Free View Synthesis(自由视图合成),游戏开发者可以录制一段在当地公园漫步的视频,然后将图像放入相关管道,这样就能够产生公园的照片级真实感画面,并选择想要的任何移动路线。我们同时可以由此推论,这项技术应该可以快速地创建一个逼真的虚拟现实环境,并允许玩家在其中自由走动。另外,尽管“当前的实现没有针对实时性能进行优化……但在实时执行方面没有根本性的障碍”。

Free View Synthesis(自由视图合成)需要深度学习的图形能力,但这应该不是一个问题。真正需要解决的挑战是(至少对于游戏而言):在场景中创造新的合成元素。在一个照片真实感的公园里走来走去当然不错,但要制作一款游戏,你需要能够与环境交互,或许要引入其他元素(比如FPS游戏中的枪支)。

科尔顿表示,这种技术如何应对所述情况“是一个有待研究的问题”。换言之,这个问题尚未得到回答。“在目前的形式中,所述方法只适合处理静态场景。它允许你在静态场景中自由移动视点,同时保留照片级真实感的外观。最终,诸如此类的技术将能够扩展到动态场景中。这是一个活跃的研究课题。”

这可能就是为什么这项技术“不会马上出现”在游戏中的原因。他补充道:“即使在未来几年内都不会出现,但最终会成为现实”。

对于Free View Synthesis(自由视图合成)这样的渲染技术,再结合头显硬件方面的进步,这将能为虚拟现实带来了巨大的技术飞跃。

原文链接:https://yivian.com/news/77319.html

THE END
广告、内容合作请点击这里 寻求合作
VR
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

亚马逊日前推出了一个名为Room Decorator的产品。这款增强现实购物工具可允许你在自己的空间里可视化各种各样的家具产品和其他家居装饰。尽管这家零售巨头早已为社区带来过AR工具,但Room Decorator的特别...
VR
彭博社报道称,苹果计划在明年为TV Plus流媒体服务提供增强现实内容。所述的AR内容可以是节目本身的角色或对象,并通过iPhone或iPad应用程序叠加到现实世界环境。据介绍,苹果原本打算在今年推出这项功能...
VR
高通和Ultraleap日前宣布搭乘了一份“多年合作协议”。根据合作内容,Ultraleap的裸手追踪技术(通过并购重组Leap Motion获得)将纳入到基于骁龙XR2芯片的XR头显。Ultraleap表示,团队的技术可以实现“最...
VR
对于“Oculus Connect”,每年约翰·卡马克的脱稿演讲都是大会的必备环节。但随着卡马克于2019年的离职,你或许会担心从此就不会再看到这位领域大神对VR硬件设备和软件应用的深刻见解。
VR
基于《荣誉勋章》的VR游戏《Medal of Honor: Above and Beyond》日前公布了最新的预告片。
VR

相关推荐

1
3