近日，Apple机器学习研究团队发表了一篇博文，介绍了全新生成式 AI 技术 HUGS。这项技术能够在30分钟内分析短视频，并创建新的动作和角度。

这项生成式 AI 技术“ HUGS”，全名为 Human Gaussian Splats。其利用机器学习和计算机视觉技术，能够在原始输入数据较少的情况下，创造出逼真的人像元素。

Introducing 🫂HUGS: Human Gaussian Splats – capable of creating animatable (3DGS) avatars from a casual video (50-100 frames) in ~30 mins. Our avatars can easily be embedded into other (NeRF) scenes. (1/4)

Project: https://t.co/ws69aCAUtG
arXiv: https://t.co/yjsR9Vt8RY pic.twitter.com/ADVWw56ats

— Anurag Ranjan (@anuragranj) December 19, 2023

Apple官方表示，尽管神经渲染技术已取得显著进步，但目前它最适用于静态场景的摄影测量，尚未能广泛应用于环境中自由移动的人类。

HUGS 技术采用 3D Gaussian Splatting 技术，在场景中创建可移动的人类形象。这种方法只需要少量主体视频，通常要求在场景中移动，以显示尽可能多的表面供系统处理。

HUGS builds on 3D Gaussian Splatting (3DGS) together with the SMPL body model to drive the 3D Human Gaussians; and allows the model to capture details such as clothing, beyond the human body model. (3/4) pic.twitter.com/am4vogpGB8

— Anurag Ranjan (@anuragranj) December 19, 2023

在某些情况下，该技术对源输入数据的要求极低，最少只需 50 到 100 帧的单眼视频，相当于 2 到 4 秒的每秒 24 帧视频。

Apple声称，该系统经过训练，可以在 30 分钟内处理静态场景和完全可动画化的人类化身。尽管使用了 SMPL 人体模型作为初始化的人类高斯模型，但该模型无法捕获每个细节。对于未建模的元素，如布料和头发，该过程可以偏离 SMPL 模型，以填补模型捕获中的空白。

Apple官方还表示，从训练视频到以 60fps 的速度输出渲染，这个过程能够在半小时内完成人体建模和“最先进的渲染质量”动画，速度比 NeuMan 和 Vid2Avatar 等其他方法快 100 倍。

更多科技资讯，请继续守住 TechNave 中文版！

【资料来源】

分身术来了！Apple发表生成式AI技术“HUGS”：30分钟即可创建“数字化身”！