苹果最新AR专利提出『点云压缩图像填充』技术

VR/AR
2020
04/09
14:04
映维网
分享
评论

来源:映维网 作者 黄颜

当一束激光照射到对象表面时,所反射的激光会携带方位和距离等信息。若将激光束按照某种轨迹进行扫描,系统可以边扫描边记录反射的激光点信息。由于扫描极为精细,我们能够获得大量的激光点,而它们可以形成激光点云。

新款iPad Pro搭载了激光雷达LiDAR扫描仪,而它显然具有促进AR体验的潜力。如同HoloLens 2或Magic Leap 1中的深度传感器一样,iPad Pro中的LiDAR扫描仪可以用作飞行时间传感器,测量从表面反射而回的光线点云。

苹果曾在一份声明中指出:“LiDAR扫描仪可测量距周围对象的距离(最远5米),可支持室内和室外,并在纳秒级的光子水平下运行。”

实际上,如果你有留意映维网的专利分享,你应该不会对苹果的点云技术感到陌生,因为这家公司已经提交过数十份相关的技术发明。

日前,美国专利商标局又公布了一份名为“Point Cloud Compression Image Padding”的点云技术专利申请。

苹果在文件中主要描述了点云压缩图像填充技术。

在一些实施例中,系统包括一个或多个配置成捕获共同构成点云的点的传感器,其中每个点包括识别各点空间位置的空间信息,以及定义与各点相关联的一个或多个属性的属性信息。

系统同时包括配置成压缩点的属性和/或空间信息的编码器。为了压缩属性信息和/或空间信息,编码器配置成对于点云确定多个补丁,每个补丁对应于点云的部分。

编码器进一步配置为,对于每个补丁,生成一个补丁图像,所述补丁图像包括与补丁相对应的点的集合。编码器可生成另一个补丁图像,所述补丁图像包括诸如深度信息的几何信息,并用于与补丁相对应的点的集合。其中,几何信息包括垂直于补丁平面的方向上的点的深度。

编码器进一步配置成将生成的补丁图像打包成一个或多个图像帧。而且,所述编码器配置成将一个或多个打包的图像帧提供给视频编码组件。另外,编码器配置成在二维空间中缩小打包的图像帧。

在一些实施例中,解码器配置成接收一个或多个编码图像帧,所述编码图像帧包括用于压缩点云的多个补丁图像。对于每个补丁,一个或多个编码图像帧包括一个补丁图像,所述补丁图像包括:包括投射到补丁平面上的一组补丁点。补丁图像同时包括一组补丁点的深度信息,其中,深度信息说明一组补丁点在垂直于补丁平面的方向上的深度。

在一些实施例中,深度补丁图像可以与其他属性补丁图像一起打包到图像帧中。例如,解码器可以接收由上述编码器生成的一个或多个图像帧。图像帧中的至少一个图像帧可以在编码器缩小比例,并且解码器可以在二维视频域中对缩小后的图像帧进行比例放大。

解码器可以进一步配置为接收或确定关系信息,以说明各属性补丁图像、深度补丁图像和/或图像帧之间的关系信息。例如,解码器可以接收压缩点云文件中的关系信息。在一些实施例中,解码器可以根据包括在压缩点云文件中的信息来确定关系信息。在一些实施例中,解码器可利用接收到的或确定的关系信息来调整用于视频解码视频编码图像帧的一个或多个参数。

相关专利:Point Cloud Compression Image Padding

名为“Point Cloud Compression Image Padding”的专利申请最初在2019年9月提交,并在日前由美国专利商标局公布。

原文链接:https://yivian.com/news/73528.html

THE END
广告、内容合作请点击这里 寻求合作
VR
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

眼动追踪主要分为两种不同类型。第一种类型是安装式眼动追踪。所述技术包括一个可随用户移动的传感器。例如,头戴式显示器可随用户移动并提供眼动追踪。
VR
光学反射镜对于沉浸式现实系统而言十分重要。在日前由美国专利商标局公布的一份专利申请中,苹果就描述了一项基于反射镜的场景摄像头发明。
VR
相信不少VR从业者都不会对异步空间扭曲技术感到陌生。这项技术在Oculus的推广下得到了相当的普及。
VR
通过OpenXR API,热门的免费开源建模和动画工具Blender即将获得VR支持。用户在一开始能够步入3D场景,并近距离地以任何比例进行查看。预计未来的版本会纳入更多的功能。
VR
专为老年人社区提供虚拟现实解决方案的MyndVR日前宣布与Pico和Littlstar达成合作,并将向美国50个州的老年人社区捐赠VR头显,从而帮助其应对因新冠病毒COVID-19而造成的社交隔离影响。
VR

相关推荐

1
3