康奈尔大学演示基于腕带的AR/VR交互解决方案FingerTrak

VR/AR
2020
07/22
21:26
映维网
分享
评论

来源:映维网 作者 广州客

随着虚拟现实和增强现实技术在视觉保真度和头显舒适度方面的稳步提升,研究人员正继续研究比握持式控制器更为自然的输入解决方案。

今天,康奈尔大学的一组研究人员介绍了一种基于腕带的解决方案FingerTrak。所述设备使用热摄像头来追踪手部的三维运动,并从用户手腕轮廓提取出20个手指关节的位置。

FingerTrak由康奈尔大学SciFi Lab和威斯康星大学麦迪逊分校的研究人员研发,其利用一个深层神经网络将三到四个微型热摄像头的输入拼接在一起,从而共同捕捉整个手部的姿态。利用摄像头生成的轮廓,主干网络和回归网络估计指尖和关节的位置。

尽管结果并不完美,但它们可以用于某些形式的VR和AR输入。FingerTrak的其他潜在应用包括人机交互与控制、手语翻译和健康监控,包括发现早期的帕金森氏症和阿尔茨海默氏症等退化性疾病。

有趣的是,研究人员表示仅靠手腕轮廓就“足以准确预测整个手部姿态”。所以,团队能够将整个传感系统放置到手腕,不需要手套、戒指或其他此前介绍的任何技术。下面这个视频演示了FingerTrak将手部运动追踪转化为一只仿生手的运动,并允许计算机确定用户何时在写字,喝咖啡,以及与智能手机交互。

目前尚不清楚系统是否能够快速追踪特定的手势,比如一个人正在写什么。研究人员指出,取决于测试背景,FingerTrak在测试期间的平均角度误差率在6.46到8.06度之间。换句话说,它可能是最好的补充性技术,而不是完全取代更高精度的手指追踪解决方案,至少对某些应用而言是这样。

相关论文:FingerTrak: Continuous 3D Hand Pose Tracking by Deep Learning Hand Silhouettes Captured by Miniature Thermal Cameras on Wrist

手腕型摄像头可以增强VR头显的由内向外追踪摄像头。原型版本的FingerTrak已经非常小,而随着进一步的工程设计,它可以进一步缩小。它主要依靠非常低分辨率(32×24像素)的热敏摄像头,而这种摄像头的尺寸和厚度都比最薄的苹果手表还要薄。

原文链接:https://yivian.com/news/76466.html

THE END
广告、内容合作请点击这里 寻求合作
VR
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

根据6月份的《IDC全球增强与虚拟现实支出指南》,与COVID-19新冠肺炎之前的预测情景相比,全球及欧洲的AR/VR支出增长将在2020年出现下降。
VR
日前,3Glasses CEO王洁女士接受大公报记者何花采访,阐述5G时代下XR的机遇与挑战,并于7月20日刊登至《大公报》新经济浪潮版块。3Glasses作为亚洲首款量产VR头显研发者、VR首个商业模式(线下体验点模式...
VR
已经在各大平台发行的VR游戏《Apex Construct》是一款热门第一人称射击游戏,于2018年2月在PS VR平台首发,同时也是Oculus Quest 2019年5月份的首发作品之一。现在,该游戏将于7月30日正式登陆Pico Neo 2...
VR
据《虚拟现实产业发展白皮书(2019年)》显示,预计2020年国内虚拟现实市场规模将达到900亿元,虽然猝不及防的疫情对市场造成了一定影响,但随之催生的线上“宅家”经济,使得AR/MR的硬件载体需求空前强...
VR
据韩国电子新闻(ETNews)报道,LG电子正在与日本主要的电信运营商NTT Docomo合作开发增强现实眼镜,并预计明年登陆日本市场。
VR

相关推荐

1
3