Hallo允许通过单张图像和音频输入生成唱歌和说话的视频，同时还能控制视频中人物的表情和姿态。这项技术基于扩散模型的层次化音频驱动视觉合成方法，旨在提升语音输入与生成动画之间的对齐精度，包括嘴唇、表情和姿态的同步。

主要功能:

• 虚拟角色动画生成:通过语音音频输入，生成逼真、动态的虚拟角色动画，并实现口型、表情和姿态的精确同步。

• 真实角色动画生成:将该技术应用于真实人物，生成的动画能准确反映真实人物的表情和动作变化。

• 多种运动控制:提供对角色表情、姿态和嘴唇运动的精确控制，支持多种表情和姿态的自适应控制，以增强动画的多样性和真实性。

• 跨演员应用:支持不同身份的个性化动画生成，通过音频输入，生成适应不同角色身份的动画效果。

• 歌唱动画生成:通过语音和歌曲音频输入，生成同步的歌唱动画，动画能够准确反映歌唱时的口型和表情变化。

这项技术通过输入语音来生成人物嘴唇同步、表情变化和姿态变化的动画，提高语音与生成动画之间的对齐精度，使动画的嘴唇、表情和姿态与语音更匹配。采用的先进技术和结构增强了动画生成的实时性和视觉效果，使生成的动画更加逼真和自然。

这项研究的成果不仅在学术上具有创新性，而且在实际应用中也展现出巨大的潜力，如在娱乐、教育、虚拟助手和其他多媒体领域的应用。通过这项技术，用户可以更直观、更生动地与虚拟角色进行交互，享受更加丰富和真实的体验。

项目地址：https://top.aibase.com/tool/hallo

---

编辑：一起学习网

标签：动画,表情,姿态,语音,角色,嘴唇,音频输入,真实,人物,口型