苹果新AR/VR专利通过IMU识别物理环境中的用户触碰操作

VR/AR
2020
04/07
16:09
映维网
分享
评论

来源:映维网 作者 黄颜

今天的电子设备为用户提供了众多与周围世界交互的方式。例如,用户可以使用键盘、鼠标、触碰屏、触碰笔和操纵摇杆等与电子设备进行交互。

随着混合现实技术的兴起,用户往往会通过额外的方式提供输入。作为一个例子,用户可以触碰真实对象并以混合现实的方式与之进行交互。但是,真实对象交互通常不包括用于检测用户触碰的触碰传感器。

作为说明,用户经常与数字信息交互的一种方式是通过触碰屏界面。触碰屏界面允许用户使用手指、触碰笔或其他方式与显示表面进行交互。触碰传感器可以识别触碰区域并向用户提供响应。

针对这种情况,苹果为混合现实提出了名为“Imu For Touch Detection”的专利申请,并描述了诸如手表或指环的可穿戴设备。

值得一提的是,苹果早前曾提出过多份用于AR/VR的指环式设备发明,如“Finger-mounted device with sensors and haptics”。

专利主要描述了用于对物理表面进行触碰的系统。总的来说,苹果介绍了一种使用惯性测量单元(IMU)识别用户何时在物理环境中触碰表面的技术,以及一种提供相关响应技术。

根据一个或多个实施例,诸如手表或指环这样的可穿戴式设备可由与物理环境交互的用户佩戴。所述可穿戴设备可包括IMU。IMU可用于跟踪力、加速度或声学信号。

在一个或多个实施例中,可穿戴设备可由用户在物理环境中佩戴。特别地,可穿戴设备可穿戴于手臂、手腕或手指。在一个或多个实施例中,可根据来自IMU的传感器数据确定触碰事件。例如,检测到的力可以指示触碰事件。触碰事件可以指示触碰对象和表面之间的接触。表面可以是实际环境中的对象的一部分,或者可以是用户的另一部分,如手或手指。

为了响应于检测到触碰事件,可以获得触碰事件的触碰图像。所述触碰图像包括触碰对象和被触碰表面。触碰图像可以由第二设备捕获。所述触碰图像可以是RGB图像或深度图像。根据触碰图像,可以确定被触碰表面,并且可以根据被触碰表面向用户提供响应。

在一个或多个实施例中,可利用触碰图像生成或细化触碰对象的模型。具体而言,由第二设备捕获的图像可以不捕获触碰对象与表面接触的部分。但在一个或多个实施例中,关于触碰对象在触碰点的几何形状数据可以根据触碰图像的深度信息进行确定。例如,深度图像可以从触碰点被触碰对象遮挡住的角度来获取。例如,从用户的角度来看,触碰表面的指尖可以被手遮挡住。

可根据来自触碰图像和触碰检测的综合数据,生成或完善触碰对象的模型,如手指、手或手臂。例如,即使手指的触碰部分被遮挡,系统都可以根据手指所触碰表面的相对位置,以及触碰图像中手指的可见部分的深度信息来确定手指的特定长度。触碰图像可以作为参考图像来确定手指和表面之间的接触状态。例如,可以通过比较参考图像和当前捕获的图像来确定释放运动,即手指远离表面。

在一个或多个实施例中,可利用触碰图像来确定触碰的假阳性。例如,IMU可以根据特定的力来检测触碰,但力可以与触碰无关。作为一个例子,力可以与手臂或手腕的抽搐有关。相应地,在一个或多个实施例中,第二设备可在检测到触碰事件时捕获触碰图像,并根据触碰图像确定触碰事件是不是真正的触碰事件。例如,在检测到触碰事件时,如果所捕获的图像显示触碰对象不在表面附近,则可以确定检测到的触碰事件是假阳性触碰事件。基于深度学习的方法可以用来将真实的触碰事件与其他非触碰事件进行分类。分类可以基于IMU数据进行分类。深度学习网络可以是LSTM(长短期记忆)、RNNN(循环神经网络)或任何时间相关的网络。

相关专利:Imu For Touch Detection

名为“Imu For Touch Detection”的苹果专利申请是于2019年9月提交,并在日前由美国专利商标局公布。

原文链接:https://yivian.com/news/73506.html

THE END
广告、内容合作请点击这里 寻求合作
VR
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

据彭博社报道,微软聘请了苹果原负责无线技术的高管来领导混合现实硬件和人工智能技术。
VR
4月7日,光感科技公布了一项全新的研发成果,XR操作系统feelarOS。该操作系统可以安装在任何安卓手机上运行,并能够将手机App以“超大悬浮屏”的形态开启在智能眼镜的3D空间中,实现“腾空点击交互”。
VR
众所周知,苹果公司一直对增强现实技术和AR头显有着雄心勃勃的计划。苹果已在利用开发工具ARKit来构建其AR头显的平台。
VR
日前,韩国现代汽车发布的3月财务简报显示,其全球销量继2月以来持续下降,3月销量较去年同期下滑20.9%,为30.85万辆。起亚汽车销量也同比减少了6.4%,报告表示新冠肺炎疫情的全球蔓延对汽车销量的影响日...
汽车行业
主要研发360度交互式座椅的初创公司Roto VR已经完成了由Pembroke VCT领投的150万英镑融资(约合人民币1318万元),其他投资方包括由The FSE Group管理的TVB Growth Fund。
VR

相关推荐

1
3