本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。

先给一张侧脸（关键帧1）：

再给一张正脸（关键帧2）：

然后仅仅根据这两张图片，AI处仅需理了一下，便能生成整个运动过程：

而且不只是简单的那种，连在运动过程中的眨眼动作也“照顾”得很到位。

效果一出，便在Reddit上引发了不少热议：

仅需2个关键帧，2张如何实现完整运动？

不需要冗长的训练过程。

不需要大量的训练数据集。

这是论文作者对本次工作提出的两大亮点。

具体而言，这项工作就是基于关键帧将视频风格化。

先输入一个视图，频序列 I ，它由N个帧组织，每一帧都有一个掩膜Mi来划分感兴趣的区域。

与此前方法不同的是，这种风格迁移是以随机顺序进行的，不需要等待顺序靠前的帧先完成风格化，也不需要AI对来自不同关键帧的风格化内容进行显式合并。

也就是说，该方法实际上是一种翻译过滤器，可以快速从几个异构的手绘示例 Sk 中学习风格，并将其“翻译”给视频序列 I 中的任何一帧。

这便可个图像转换框架基于 U-net 实现。并且，研究人员采用基于图像块 （patch-based）的训练方式和抑制视频闪烁的解决方案，解决了少样本训练和时间生成一致性的问题。

而为了避免过拟合，研究人员采用了基于图像块的训练策略。

从原始关键帧（Ik）中随机抽取一组图像块（a），在网络中生成它们的风格化对应块（b）。

然后，完整计算这些风格化对应块（b）相对于从风格化关键帧（Sk）中取样对应图像块的损失，并对误差进行反向传播。

这样的训练方案不限于任何特定的损失函数。本项研究中，采用的运动是L1损失、对抗性损失和VGG损失的组合。

另一个问题便是超参数的优化。

这是因为不当的超参数可能会导致推理质量低下。

研究人员使用网格搜索法，对超参数的4维空间进行采样：W过程p——训练图像块的大小；Nb——一个batch中块的数量；α——学习率；Nr——ResNet块的数量。

对于每一个超参数设置：

（1）执行给定时间训练；

（2）对不可见帧仅需进行推理；

（3）计算推理出的帧（O4）和真实值（GT4）之间的损失。

而目标就是将这个损失最小化。

团队介绍

这项研究一作为Ondřej Texler，布拉格捷克理工大2张学计算机图形与交互系的博士生。

而除了此次的工作之外，先前他和团队也曾做过许多有意思的工作。

例如一边画着手绘画，一边让它动起来。

再例如给一张卡通图片，便可让视频中的你图，顶着这张图“声情并茂”。

想了解更多有趣的研究，可戳下方链接。

参考链接：

[1]https://www.reddit.com/r/MachineLearning/coAImments/n3b1m6/r_fewshot_patchbased_training_siggraph_2020_dr/
[2]https://ondrejt便可exler.github.io/patch-based_training/index.html

• ·​日本版权协会要求 OpenAI 停止使用其作品进行 AI 训练
• ·并行计算与分布式计算原理
• ·这娘们不像好人是什么梗
• ·标签: 群核科技 ManycoreTech 杭州六小龙 空间智能
• ·IBM收购云咨询服务提供商Nordcloud 挑战亚马逊微软
• ·谷歌新工具重塑 AI 编程:Chrome DevTools MCP 赋予 AI 浏览器调试能力，实现开发全流程闭环
• ·亿万富翁丹・洛布减持台积电，转投另一家万亿人工智能公司
• ·马斯克发布Grok Imagine 0.1版本，野心打造"宇宙最强想象力放大器"
• ·​黑客新手法：利用 OpenAI API 创建 “隐形” 后门恶意软件
• ·Sora路线图重大更新:推出“角色客串”功能，Android版本即将上线
• ·标签: 字节 Seedance 2.0 即梦AI 豆包
• ·标签: 同程旅行 错峰游 春节返程 高品质酒店
• ·标签: 三星 SK海力士 苹果 戴尔
• ·骗过83%网友！图像生成界天花板DALL-E 2竟然通过了图灵测试？
• ·标签: 华科冷芯 高速悬浮泵 AIDC 液冷技术
• ·标签: 惠普 个人系统 AI设备 洛雷斯