关注我们的 WhatsApp 频道, TikTok 与 Instagram 以观看最新的短视频 - 开箱,测评与第一手新闻资讯。
疫情期间,企业透过视讯会议交流工作已渐成常态,但你是不是会遇到非常尴尬的时候,如刚起床、头发凌乱、穿着睡衣,但是却被老板拉上开会?
为了让你在每次视频通话中都能完美展现自己, NVIDIA研究人员共同撰写发表的论文提供了一个全新的解决方案——针对因信号造成的人物图像不清晰、成像角度不佳、由于客观原因个人形象不佳的问题,他们在CVPR 2021上最新展示的Vid2Vid Cameo成功通过AI解决了这一系列问题。
根据NVIDIA的演示来看,只需要录入两个元素,就能通过AI来解决上述视频会议过程中的尴尬问题,分别为一张人物外貌照片和一段视频流。之后Vid2Vid Cameo就能在视频通话的过程中模拟出真实高清的人物形象,或是虚拟的卡通形象,这些形象还可以根据会议人的面部形态进行匹配。
如果会议人员没有穿正装,Vid2Vid Cameo可以根据已经录入的元素来模拟出与会者的正装形象,并且可以进行动态显示;如果与会者没有化妆,或个人形象暂时不佳,Vid2Vid Cameo也能以此前元素中的理想形象,来动态的呈现在会议的视频中。
这项功能同样可以应用于目前很多厂商在关注的通过卡通虚拟形象来进行在线交流的功能中,Vid2Vid Cameo同样可以虚拟出一个卡通形象,用户只需上传一张卡通头像便可实现,通过追踪与会者的五官变化,来进行实时的虚拟形象显示。
Vid2Vid Cameo甚至还能可以实现移花接木,通过AI将某个人的动作转移到另一个人的参照图像上,同样可以生成更逼真、更清晰的结果,优于先进的模型。
另外,Vid2Vid Cameo还能大大降低网络压力,让以往视频会议过程中由于网络问题所造成画面卡顿及马赛克现象一去不复返。在实际虚拟过程中,通过仅来回压缩及发送头部位置和关键点,而不是完整的视频流,此技术将视频会议所需的带宽降低 10 倍,从而提供更流畅的用户体验。
Vid2Vid Cameo 利用对抗AI 的生成网路技术,在NVIDIA DGX 系统使用达18 万个高品质对话头像进行训练, AI 将辨识影像当中包括眼睛、嘴巴与鼻子等20 个关键点,不须人类手动进行标注,即可针对脸部动作建构模型,可将一张平面静态照片与自视讯相机撷取的影像进行3D 合成。
这意味着,只要上传一张真实的照片或是动画人物, Vid2Vid Cameo 即可进行进行动态合成。除此之外,一般人使用视讯相机时不一定会正对镜头,对方看到的影像就会是歪一侧,而Vid2Vid Cameo 还能够将人物影像进行重新定向,使对方看起来像是正对镜头与之进行会议。
据悉,Maxine平台目前已可运用影像降噪、画质提升等功能;而今日推出的Vid2Vid Cameo功能,目前也已可在NVIDIA AI Playground上测试使用,其开发套件也将在不久后推出,让开发人员可以运用优化后的训练模型,为视讯、直播串流强化效果。
更多科技资讯,请继续守住TechNave中文版!