让你挤眉弄眼的魔性小游戏背后,是手机交互的新维度创投

砍柴网 / 谁是大英雄 / 2017-12-19 16:44
关于人脸交互的可能性,正在一点点被挖掘出来。一般的手机前置摄像头就可以做到对人脸关键点,如轮廓、眉毛、眼睛、鼻子、嘴唇等关键部位进行坐标点追踪定位,从而分辨人的...

最近,一个魔性小游戏火了,每个玩儿它的人都会挤眉弄眼、表情怪异。光是看他们的表情,你可能根本猜不出这是一款什么游戏。

华盛顿大学计算机专业的研究生 Nathan Gitter 制作了这款叫做 Rainbrow 的小游戏,游戏内容非常简单:控制一个 emoji 表情在屏幕内来回跳动,吃到不同位置的星星,星星越多,分数越高。而随着分数的升高,游戏中的障碍物会越来越多,比如汽车、篮球、鸭子等 emoji 会出现在屏幕中,玩家需要及时反应躲开障碍,以达到更高的分数。

这样一个小游戏很容易让人联想到许多类似的永无止境的休闲游戏(比如《天天过马路》),本身看上去并没有特别之处,但好玩的是,想要操作游戏,你的手指完全无用武之地,因为要操作它你必须用到眉毛。

对,你没听错,就是用眉毛,当做出生活中常见的「挑眉」或者「囧眉」的表情时,游戏中的角色就能向上或者向下,它就是一个能配合你眉毛做出反馈的躲避游戏。如同游戏的名字 Rainbrow(由 Rainbow+Eyebrow 合成)暗示的含义那样,它需要你的「眼技」随时在线。

游戏的操作方式如此吸引人,你也许会好奇这到底是怎么做到的。这里不妨先回想一下 iPhone X 发布会上让很多人印象深刻的 Animoji,通过 iPhone 特殊的前置摄像头,人的面部表情就变成了熊猫、公鸡、狗狗等各种各样的虚拟形象,是不是和今天介绍的这款小游戏的操作很像呢?

从解锁到人脸交互

和 Animoji 类似,挤眉弄眼的 Rainbrow 用到了苹果的 ARKit 框架,通过使用 iPhone X 的 True Depth 相机系统,你的面部被实时捕捉,并在手机上对应出相对表情,这一功能依赖于 iPhone X 强大的相机系统和神经网络运算能力。

如我们曾介绍的那样,iPhone X 的「刘海」包含了相机、麦克风、扬声器、环境光感应器、距离感应器、泛光感应元件、红外镜头和点阵投影仪等多个元件,它们组合在一起打造出 iPhone X 独一无二的体验。其中,泛光感应元件、红外镜头以及点阵投影仪构成了 True Depth 相机系统核心。

通过朝人面部发射超过 30000 个肉眼不可见光点,True Depth 相机系统不但可以扫描出用户面部精细的三维图像,并且可以结合 A11 仿生芯片强大的神经网络运算能力,学习追踪到人面部的各种变化,这是 iPhone X 开发出全新交互的硬件基础。

True Depth 相机系统配合 A11 仿生芯片的强大运算能力,面部信息会被捕捉并迅速建模,并实时绘制出 50 多种面部肌肉的运动。因为这一特性,上文提到的 Rainrow 才得以实现效果,毕竟眉毛简单的上挑和下弯都是比较简单的面部肌肉动作(前提是你允许在游戏时打开前置摄像头)。

作为 Rainbrow 的开发者,同时也是 iOS 开发工程师,Gitter 本人对面部交互应用非常看好,他认为人的面部表情如此丰富,配合手机能够发挥出更多作用。在 Rainbrow 之外,他还开发出另一个用鼻子控制并摧毁目标的游戏 Nose Zone,在他看来,这些技术和艺术的结合能创造出伟大的产品。而考虑到智能手机出现这么多年,触摸交互的影响深入人心,我们似乎可以预见另一个由人脸交互带来的新变革。

当人脸「无所不能」

人脸曾经是被忽视的交互方式,但如今,时代变了。

iPhone X 推出之后,不少人仍旧坚持认为苹果彻底抛弃方便而顺手的指纹解锁过于冒险。但事实上,人的面部信息价值并不仅仅在于用来解锁,当发布会展示出和人脸配合的有趣的 Animoji 应用时,关于人脸交互的可能性,在一点点被挖掘出来。

今年 8 月,一款名叫Facedance Challenge 的小游戏迅速火遍全球。在游戏中,你需要做出各种各样的面部表情,来应对随时出现的游戏挑战,玩过的人都知道,为了通关,不知道要对着手机镜头做出多少稀奇古怪令人窒息的表情,但这种新奇的游戏体验,就算是在一旁静静看着,也会觉得人脸搭配手机玩儿出花样来不可思议。

尽管因为硬件限制,目前市面上很多和人脸相关的手机应用不能像 Animoji 那样与人脸产生强交互,如 Facedance Challenge 这样的游戏,采用的实际上是人脸图片分类技术,远远比不上 Animoji 复杂。但这并不妨碍人脸和 AI、AR 等结合产生新的交互,这是在软件与硬件共同推动下发展起来的未来。

软件在探索交互的可能。目前一般的手机前置摄像头就可以做到对人脸关键点,如轮廓、眉毛、眼睛、鼻子、嘴唇等关键部位进行坐标点追踪定位,从而分辨人的面部表情并推断情绪,配合大公司的 AI 平台,如今年 4 月的 Facebook F8 大会上推出的AR Studio,艺术家们可以发掘人脸交互的各种可能,比如对着屏幕眨眨眼能「冒出很多星星」,或者张张嘴就能「喷火」,因为这些动作的丰富,人们看到了交互的新奇之处。

硬件则解决了实际中的各种困难。因为感应元件的发展,我们能让手机在黑暗之中捕捉到人脸(如 iPhone X 的红外感应元件),也能让相机将人脸看得更清楚。因为 AI 芯片的加入,人脸的数据能被实时高速处理,加上 AR 平台的支持,人们通过面部交互就能够完成过去很多不太可能做到的事。

不妨做出一个理想假设:AI 芯片目前已经可以在一些手机上实现对于场景的快速判断,从而拍出观感更佳的照片,同样的方法能否运用在对人的表情判断上呢?当手机前置相机可以快速判断出人的情绪,就能进行真正的「智能交互」,比如发现你的表情不开心时,主动为你讲笑话,或者发现你的面部信息比较痛苦时,为你拨打求救电话联系亲密的人。又或者,在用手机听老师上课时,老师们可以借助 AI 工具,了解到你目前的情绪,从而隔空对你做出更好的指导。

这些都是过去我们不曾想过的面部交互方式,在游戏之外,关于人脸交互的无数种可能,即将伴随智能手机与 AI 技术的进化而大放异彩。

来源|极客公园



1.砍柴网遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.砍柴网的原创文章,请转载时务必注明文章作者和"来源:砍柴网",不尊重原创的行为砍柴网或将追究责任;3.作者投稿可能会经砍柴网编辑修改或补充。


阅读延展



最新快报

1
3