为解决HoloLens 2手部追踪模型拟合,微软提出全新曲面模型——冯氏曲面

VR/AR
2020
08/08
20:47
映维网
分享
评论

来源:映维网 作者 黄颜

混合现实中的实时感知和交互能力要求资源受限的硬件(如头戴式设备)以低延迟解决一系列的3D追踪问题。实际上,对于HoloLens 2等CPU和GPU可以用于应用程序的设备而言,多个追踪子系统需要在共享一个数字信号处理器的同时实现连续、实时的运行。

为了解决HoloLens 2手部追踪的模型拟合问题(计算预算大约比iPhone 7小100倍),微软团队提出了一种全新的曲面模型:“Phong Surface(冯氏曲面)”。

利用计算机图形学的思想,Phong Surface描述了与三角网格模型相同的3D形状,但其具有连续的曲面法线,从而能够使用Lifting-based Optimization优化方法,并比基于ICP的方法提供显著的效率提高。研究人员指出,Phong Surface保留了平滑曲面模型的收敛优势。

微软团队日前在ECCV 2020大会通过视频对所述模型进行了介绍,下面包括具体的字幕整理:

我们提出了一种使用Lifted Optimization来实现有效3D模型拟合的Phone Surface模型。

我们的模型拟合示例通过拟合离散3D数据来追踪人手的28个自由度。在头戴式增强现实系统(如HoloLens 2)中,这可以实现一种比当今所有计算系统都更为自然的交互机制。

HoloLens 2搭载了强大的CPU和GPU,但它们是为了用于应用程序,所以手部追踪必须由数字信号处理器以4GFLOPS的速度完成,亦即只有iPhone 7的1%。

对于之前的研究,效率的关键是使用Smooth Surface模型,Subdivision Surface或b样条曲线(bspline)。Smooth-Surface允许使用名为lifted optimization的优化方法,而所述方法能够大大减少了模型拟合中的迭代次数,并且支持使用更少的数据点。

涉及论文:Efficient and Precise Interactive Hand Tracking Through Joint, Continuous Optimization of Pose and Correspondences

尽管单个服务评估的计算成本要比Polygon Surface高出7倍,但总体的计算成本缩减是一次胜利。然而,要以4GFLOPS实现实时性,我们需要拿回7X的计算成本。所以,我们引入了一个全新的曲面模型:Phong Surface。

它的计算成本几乎与Polygon Mesh一样低,但保留了Lifted Optimization的优点,即快速收敛和更少的数据点。

Phong Surface的灵感来自于计算机图形学中的冯氏着色(phong shading)技术。这个模型使用Polyhedral Surface模型,但插值曲面法线。

下面我们在2D示例中进行详细说明。

我们使用非平滑的Polygon模型,并像Smooth Surface模型一样插值法线。

现在我们来看看当我们尝试将模型拟合到一定的数据时会发生什么。

我们会像往常一样从数据到模型形成对应关系。并且,我们不只是匹配最近的点,而是最小化加权损失,结合到曲面的距离,及曲面法线与数据的一致性。

请注意蓝色箭头。它们表示曲面法线对Lifted Optimization中的对应更新的贡献,而因为曲面法线在每个阶段中的任何位置都是相同,Polygon模型并不存在这种贡献。

这种更新提高了速度和精度。

下面我们展示了两个玩具示例的拟合方法对比:菜豆体和椭球体。我们比较三种类型的曲面:Subdivision Surface;Phong Surface和Triangle Mesh,以及两种优化方法:上面一行的Lifted Optimization和下面一行的ICP(Iterative Closed Point)。

在所有情况下,Lifted Phong的收敛速度与Lifted Subdiv一样快,但计算成本与Triangle Mesh一样(ps:听不清,这里不确定)。

对于菜豆体,Triangle Mesh不仅速度更慢,而且缺少表面法线的插值(ps:听不清,这里不确定)意味着它具有更多的Local Minima(局部极小值)。

回到HoloLens,Lifting意味着我们可以只使用数据的一小部分,例如示例中的绿点,而Phong Surface意味着我们可以以低成本且可靠的方式做到这一点。

综上所述,我们拥有了一个可同时处理双手,并以4Gaflops的速度实时运行的全关节式追踪系统。我们的技术不仅适用于手部追踪,同时适用于任何需要高效曲面拟合的情况,尤其是低功率设备。感谢观看。

原文链接:https://yivian.com/news/76838.html

THE END
广告、内容合作请点击这里 寻求合作
VR
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

对象追踪对于完全沉浸式虚拟现实体验至关重要。为了支持在虚拟空间中进行交互,系统需要确定头显和外设的位置,从而逼真地描绘虚拟世界。可以说,追踪精度是虚拟现实说服力和沉浸感的重要拼图。
VR
在今年6月底,Oculus公布了Oculus Quest的全新发行策略,同时宣布将停售Oculus Go,这意味着Oculus在全面拥抱6DoF大生态。现在,对于Oculus宣布从最新版本的开发者SDK v19开始,也不再支持Oculus Go了。
VR
有人曾将《Beat Saber》描述成一款“VR版劲舞革命”,而现在看来这相当具有预言性,因为名为“FeetSaber”的Mod将作品变成了用双脚开玩的音乐节奏游戏。
VR
你有没有玩过一款需要攻略才能通关的VR游戏,但又不想摘下头显以查找解决方案呢?你是否希望在开玩游戏的同时观看一段视频呢?又或者,你是否希望将自己沉浸在YouTube的360度视频之中呢?
VR
眼动追踪头显厂商FOVE正在与日本大型连锁药店公司Aisei合作,共同提供基于VR头显的“认知机能自我检查”服务,从而帮助民众判断自己是否存在痴呆症的相关症状。
VR

相关推荐

1
3