这个AI能帮女朋友自拍:照片生成3D视频
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
爱自拍的女生,为了拍一张美照总是需要很久,就是为了找到最美的角度。
比如这个这位妹子,在自己的书架前拍了4张自拍照,都不太满意。
现在可以把选最美角度这件事交给AI了,让妹子不再苦恼。只要几张照片,它能从中生成各种角度的自拍。
&AInbsp;
然后,你可以在AI生成的视频里,找到一个自认为最美的角度,分享到朋友圈。
这个AI就是华盛顿大学和谷歌联合开发的nerfies。
这种方法不需要太能帮复杂的设备,只要智能手机的摄像头和CPU就能完成运算和渲染。这可比iPhone 12 Pro用内置激光雷达来生成3D图像的成本低多了。
原理
看到nerfie女朋s这个名字是不是有种似曾相识的感觉?nerfies其实就是NeRF+Selfies两个单词合并而来。
NeRF(神经辐射场)是谷歌最近开发的一种2D图像转友自3D的模型,但NeRF要求拍摄对象在整个过程保持完全静止。
比如,上面的妹子在自拍4张照片的时候,头部姿势不可避免地会发生变化,如果直接套用NeRF,效拍:果惨不忍睹。
而nerfies则是可变性神经辐射场(Deformable NeRF),它能够重建非刚性变形的场景。
在NeRF的基础上,作者从几何和物理模拟照片的原理出发,提出了NeRF的弹性正则化,进一步提高了2D转3D的鲁棒性。
在可变性NeRF中,作者引入了弹性正则化、背景正则化以及一种可避免不良的局部最小值生成退火技术。
作者将潜在变形码(ω)和外观码(ψ)与每个图像关联。在观测帧中对摄像机光线进行追踪,并使用变形场将样本沿光线转换到规范帧,变形场由变形码ω编码为M3DLP。
另外使用转换后的样本位置(x0,y0,z0)、观察方向(θ,φ)和外观码ψ作为MLP的输入,来查询模板NeRF模块,并沿着光线对样本进行积分。
更多玩法
可视频变性NeRF不仅可以用于自拍,还有更多好玩的用途。
比如创建“希区柯克变焦”的效果,过去需要专门的摄影技巧,或者是通过由远及近的拍摄视频再后期处理。现在只要几这个张照片就可以了。
如果不需要场景角度变化,而是需要人物姿势变化呢?
可变性NeRF能在头向左和向右之间线性插入任意姿势的照片。
最后还有一个用途是生成防抖AI视频。既然可变性NeRF可以生成任意角度的图像,那么现在可以让手负责抖,而让它负责稳了。
目前作者还没有公布源代码,不过他们的项目主页上已经放上了G能帮itHub的按钮,看来他们已经准备开源了。你是不是迫不及待想试一下呢?
项目地址:
https://nerfies.github.io/
论文地址:
htt女朋ps://arxiv.org/abs/2011.12948
- ·中国汽车,在云端加速智能创新
- ·iOS26.1Beta3暗示“苹果智能”将集成谷歌Gemini等更多第三方AI模型
- ·标签: 瑞萨电子 刘芳 Malini 半导体
- ·标签: 趣店 财报 末端配送 现金贷
- ·标签: OPPO 武汉大学 母亲节文案 余某
- ·Gemini API重磅升级!URL Context功能上线,网站内容直接变现新模式来袭!
- ·标签: 哈啰 青桔 美团单车 共享单车
- ·OpenAI Sora 2全新功能上线,Pro用户生成视频长达 25 秒
- ·Hive中的内部表、外部表、分区表和分桶表
- ·标签: 速腾聚创 激光雷达 Robotaxi ADAS
- ·标签: 阿里巴巴 QoderWork 悟空 MuleRun
- ·l码的裤子是29还是30
- ·微软推出全新 Microsoft 365 Premium,AI 功能与办公工具完美结合
- ·鑻辩壒灏斿�甯冨埗瀹氭柊鐨勬灦鏋勮矾绾垮浘锛屾嫙鍦�2025骞撮噸鍥炲穮宄�
- ·云计算开发:Python3三角函数asin()方法详解
- ·标签: 亚马逊 Prime Now 京东秒送 淘宝闪购
- ·标签: 乐高集团 乐高积木 倪志伟 可持续发展
- ·Elastic通过开放源代码许可变更对AWS造成打击
- ·云安全日报210507:思科SD-WAN管理软件发现执行任意代码漏洞,需要尽快升级
- ·标签: 三六零 360公司 财报 净亏损
- ·云计算核心技术Docker教程:Docker自定义日志驱动程序输出
- ·沙特阿美宣布与谷歌云合作 为沙特阿拉伯企业客户提供云服务
- ·受新冠疫情影响,亚马逊放宽对第三方卖家的送货速度要求
- ·云安全日报210208:Apache SkyWalking性能监控系统发现SQL注入漏洞,需要尽快升级
- ·云计算核心技术Docker教程:Docker Compose指定单个compose文件
- ·云安全日报210119:红帽OpenShift云应用平台发现外部实体攻击漏洞,需要尽快升级
