91免费
53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头
发布日期:2021-09-30 19:30    点击次数:202

 

本文经AI新媒体量子位(公多号ID:QbitAI)授权转载,转载请有关出处。

要制作慢行为视频就必须要用物化贵的高速摄像机?

NO! 能够用AI。

53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为 53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为 53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为

望到没,这就是AI完善的造就!

固然和真实的高速摄像机起码上千的帧数没法比,但它十足能够做到每秒53帧的视频轻轻盈松变成960帧,异国假影也异国噪声。

许多网友望完造就都按耐不住了:“专门料要一个深入的教程”、“能不及出一个行使程序?”……

53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为 53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为

而这项酷毙的钻研收获也成功入选CVPR 2021,钻研人员来自华为苏黎世钻研中央和苏黎世大学。

53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为 自然,也用了一个稀奇的摄像头

实现这一造就异国采用经过视频光流来推想粒子行动的经典思维,而是先用了两个摄像头来捕捉画面。

一个就是清淡摄像头,记录矮帧(20-60FPS)实在画面;

要想达到慢行为造就,首码得每秒300张画面才够;20帧的视频给的新闻太少了,没法直接相符成慢行为。

怎么办?靠另一个稀奇的摄像头——

也就是事件相机(也称为神经形式相机),它行使新式的传感器,拍摄的是“事件”,也就是记录像素亮度转折。

事件相机还比较新兴,实验室里有许多,市场上还异国大周围问世,报价有2000美元一个或更高。

53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为

原由该相机记录的新闻经过压缩外示,所以能够较矮的清亮度、高速率进走拍摄,也就是就义图像质量换取更多图像新闻。

最后的新闻量有余AI理解粒子的行动,方便后续插值。

这俩相机同步拍摄到的内容相符首来就是云云的:

53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为

拍益以后,就能够行使机器学习来最大化地行使这两栽相机的新闻进走插帧了。

钻研人员在这边挑出的AI模型叫做Time Lens ,统统分为四块。

最先,将俩相机拍到的帧新闻和事件新闻发送到前两个模块:基于变形(warp)的插值模块和相符成插值模块。

53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为

基于变形的插值模块行使U形网络将行动转换为光流外示,然后将事件转换成实在的帧。

相符成插值模块也是行使U形网络将事件置于两个帧之间,并直接为每个事件生成一个新的能够帧(现在就为联相符事件生成两个帧了)。

该模块能够很益地处理帧之间展现的新对象以及光线转折(比如水逆射啥的)。

不过到这边的话,相符成的视频能够会有一个题目:展现噪声。

这时,第三个模块的作用就派上用场了,它行使第二个插值相符成模块中的新新闻来细化第一个模块。

也就是挑取联相符事件的两个生成帧中最有价值的新闻,进走变形优化——再次行使U-net网络生成事件的第三个帧版本。

末了,这三个候选帧被输入到一个基于仔细力的平均模块。

该模块采用三帧外示中最益的片面将它们构成最后帧。

现在,有了帧之间第一个事件的高清帧后,再对事件相机挑供的一切事件重复此过程,就能生成最后吾们想要的终局了。

53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为

这就是行使AI创建真切的慢行为视频的手段。怎么样?

附一个摄像机的参数图:

53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为 取得了智能手机和其他模型无法达到的造就

你说这个AI模型的造就益,那得对比一下才清新。

比如上面这个与最特出的插值模型之一的DAIN(入选CVPR 19)的对比,谁益谁坏造就就很清晰了。

而且它的插值手段的计算复杂度也是最优的:图像分辨率为640×480,在钻研人员的GPU上进走单个插值时,DAIN模型必要878毫秒,该AI则只必要138毫秒。

另外,固然不提出,用该模型输入的视频即使只有5帧,也能够生成慢行为。

53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为 53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为

和其他模型的对比实验数据,行家感有趣的能够查望论文。

末了,作者在介绍收获的视频里也再次说道,逆现在腾贵的专科设备相比,该模型起码取得了智能手机和其他模型无法达到的造就。

作者介绍

一作Stepan Tulyakov,华为苏黎世钻研中央机器学习钻研员。

53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为

共联相符作Daniel Gehrig,苏黎世大学博士生。苏黎世联邦理工大学死板工程硕士。

53帧变900帧!AI让你不必腾贵的高速摄像机也能制作慢镜头|华为

论文地址:

http://rpg.ifi.uzh.ch/docs/CVPR21_Gehrig.pdf

开源地址:

https://github.com/uzh-rpg/rpg_timelens

【编辑选举】

在 Linux 上行使 lspci 命令查望硬件情况 《数据坦然法》落地在即,这个千亿市场成新风口 数据坦然法正式实走:2021年中国网络坦然市场周围及发展趋势展望分析 将行使程序移动到云端必要清新的事项 MIT给激光雕刻机安上AI,自动辨别原料确定雕刻力度,实在率达98%