黑科技自动生成超级慢镜头,英伟达的 AI 这次帅炸了

新消费
2018
07/30
22:31
品玩
分享
评论

慢动作是当今影视作品中经常用到的技术,他能更好地吸引观众,让人们看到正常速度下看不到的细节,带来视觉冲击;把人们更好地带入角色的脑海,传递情感。 

随着技术进步,如今我们的手机也可以拍慢动作了。如果只是发个朋友圈、Instagram,iPhone 相机里的 Slow-Motion 绝对够用了!

但如果想要拍专业级的慢动作呢?你往往需要一台相当高端的相机。然而一般的慢镜头相机都是 1000fps(每秒帧数)起步,几千美金都是正常的;专业级则要到 3000fps 甚至更数万 fps,价格往往上万美元了。

并不是所有人都能成为 The Slow Mo Guys 啊……

上面图片就是来自 The Slow Mo Guys。看看,用十几万刀的慢镜头相机拍出来的就是不一样……

如果换成渣帧率的相机呢,就变成了这样⤵️

为什么一点都不连贯呢?因为慢镜头的原理就是用高帧率拍摄,帧率越高,按照 60 或者 120fps 的正常帧率播放时就会显得越顺滑。

相机本身帧率低,非要强行慢放,还要啥效果啊?

但如果非要呢?

隆重介绍英伟达最近发布的一个新技术:机器学习自动生成慢镜头:

靠算法来实现的慢动作

传统的慢镜头,是因为相机真的拍到了那么多帧的画面。

而相信你也看明白了,英伟达这个黑科技,并不需要那么多帧:它是用算法给标准视频补充更多的帧,从而将其变成一段高帧率视频,也就有了慢动作。

这是什么意思呢?用下面这张图来举例,比方说正常相机拍到的是下面那组的 10 帧,英伟达黑科技就是用计算 " 强行 " 生成额外的帧,插在已有的帧中间。

这些新生成的画面,到底应该长什么样,就全靠算法来模拟了。过去也有类似的算法生成,效果并不好,而从刚才的视频里,你也看出来英伟达已经远远超过以假乱真的程度了——这明明就是真的慢镜头嘛!

这项黑科技的名字,叫做 " 可变长度多帧插值 " ( Variable-Length Multi-Frame Interpolation ) 。

它可以在标准视频的基础上,以令人难以想象的准确度,生成新的 " 假帧 ",进而变成流畅且清晰的慢动作视频。原始视频的帧率必须达到或高于 30fps。

最厉害的是,这个慢镜头,你想要多慢就可以多慢,比如可以变成 60fps,就是已有的每两帧之间多插一帧;也可以变成 900 帧,也就是每两帧之间多插 29 帧……

英伟达将这项技术形象地称为:超级慢动作  

而且英伟达表示,这个算法在测试中 " 比已有的最前沿方法效果都更好 "。

比如下图中展示了六个同类的算法,可以看出前五个都有不同程度的画面畸变,f 的真实度最好,也正是英伟达的技术。

AI 脑补多少补多少  

这项所谓的多帧插值技术,其实并不是什么新鲜东西。

如果你还记得小时候看电视,看球赛感觉特别顺畅,看电视剧感觉画面奶里奶气,柔和的不像话,那么恭喜你:你已经感受过一个名叫动态插值的技术了……

这是因为在很早以前,电视就有这个能力了,它可以对两帧画面进行一定程度的复制和演化,生成新的一帧,然后插进去。

英伟达的新算法也是两帧之间,但名字里" 可变多帧 "意思是可以在任意两帧之间完成插值,其中插值和遮挡推理会在一个端对端的卷积神经网络上同时进行建模。 

比方说原视频的 1、2、3 帧,英伟达的黑科技可以在 1 和 3 之间新生成一个,跟真实的 2 帧进行比对,从而优化算法。

所有人都可以这样做,为什么英伟达赢了?答案是显而易见的:他们坐拥着大量的显卡……

在训练算法过程中,英伟达使用了 Tesla V100 GPU,以及改良后的 PyTorch 深度学习框架。英伟达共使用了 1132 段视频,共 37.6 万独立视频帧数。

为了更直观的展现自己的成果,英伟达还真和 The Slow Mo Guys 合作了。开头的视频里展示了英伟达用他们发在网上的慢镜头视频进一步生成的 " 更慢镜头 " 视频,效果可以说相当惊人了。

AI 的这次突破背后更重要的是,它让慢动作制作有了摆脱硬件约束的可能。

英伟达在论文中表示,他们希望未来通过云端完成大部分处理过程,进而让这项技术能在消费级设备上得到普及。

这句话的意思是:以后你可以在手机上随便拍拍,服务器自动给你做出超慢镜头……

是不是很值得期待?

只不过到那时,我们可能又要遇到另一个问题:

当视频里面一大半的帧都是 AI 强行 " 瞎编 " 出来的,那还算的上是真实的视频么?

【来源:品玩】

THE END
广告、内容合作请点击这里 寻求合作
科技
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

在股价暴跌之际,Facebook 正竭力让惊慌失措的投资者们相信,欧洲严格的《通用数据保护条例》是该地区社交网络用户数量减少的原因。但欧盟的议员们并不同意。
新零售
这话并非梁一时起意,他这种一向稳重的企业家、学者也不会在采访时妄议国事。实际上,梁早在今年 3 月出版的新书《人口创新力:大国崛起的机会与陷阱》中,便系统、详细地阐述了上述缩短学制与鼓励生育的...
新零售
中国游客在世界各大机场退税柜台排长队,这样的景象可能很快就要成为历史。取而代之的,可能是每个人拿着手机 " 扫一扫 ",退税款便可直接打入支付软件账号中。
新零售
以众筹起家的 KANO 在得到老牌教育节目《芝麻街》的 2800 万美元的投资后,推出了一款与《哈利波特》联动的新编程套装。套装中是一个装有芯片的 " 魔杖 ",需要与其他 iOS 或 Android 设备配合使用。
新零售
你每天使用的百度,其实就是利用了这种爬虫技术:每天放出无数爬虫到各个网站,把他们的信息抓回来,然后化好淡妆排着小队等你来检索;抢票软件,也相当于撒出去无数个分身,每一个分身都帮助你不断刷新 1...
新零售

相关推荐

1
3