首页
要闻详情
图标图标

微软推出 VASA-1 AI 框架,可即时生成 512x512 40FPS 逼真对口型人像视频

亚汇网亚汇网
关注
2024-04-22 06:00:06
673
指股网获悉,目前业界相关许多研究都集中在对口型上,而面部动态行为及头部运动情况通常被忽视,因此生成的面部也会显得僵硬、缺乏说服力且存在恐怖谷现象。而微软的VAA-1框架克服了以往面部生成技术的限制,研究人员利用了扩散Traforr模型,在整体面部动态和头部运动方面进行
指股网获悉,目前业界相关许多研究都集中在对口型上,而面部动态行为及头部运动情况通常被忽视,因此生成的面部也会显得僵硬、缺乏说服力且存在恐怖谷现象。而微软的VASA-1框架克服了以往面部生成技术的限制,研究人员利用了扩散Transformer模型,在整体面部动态和头部运动方面进行训练,该模型将所有可能的面部动态,包括嘴唇动作、表情、眼睛注视和眨眼等行为均视为单一潜在变量(即一次生成整个具有高度细节的人脸),号称能够即时生成512×512分辨率40FPS的视频。指股网同时注意到,微软还利用了3D技术辅助标记人脸面部特征,并额外设计了损失函数,号称能够让VASA-1不仅能够生成高品质的面部视频,还能够有效地捕捉和重现面部3D结构。广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,指股网所有文章均包含本声明。

风险提示及免责声明

文章来源于亚汇网,转载注明原文出处,此文观点与指股网无关,理性阅读,版权属于原作者若无意侵犯媒体或个人知识产权,请联系我们,本站将在第一时间删掉 ,指股网仅提供信息存储空间服务。