Sitcom-Crafter – 北航联合港中文等高校推出的 3D 人类动作生成系统

Sitcom-Crafter是一个由北京航空航天大学香港中文大学(深圳)、悉尼科技大学中山大学等多所高校联合开发的AI驱动的3D动画生成系统,旨在通过剧本自动生成高质量的3D剧情动画。该系统专注于解决多人交互和场景适应性问题,能够生成自然流畅的角色动作,适用于动画制作和游戏开发。

Sitcom-Crafter – 北航联合港中文等高校推出的 3D 人类动作生成系统

Sitcom-Crafter功能特点:

1、场景感知的多人交互

– Sitcom-Crafter通过自监督SDF(Signed Distance Function)策略,自动生成3D场景中的可行走区域和障碍物信息,从而避免角色与环境的碰撞。这一技术无需额外数据采集,降低了创作成本。

2、双角色局部归一化策略

– 传统方法在多人交互建模中存在不足,Sitcom-Crafter采用双角色局部归一化策略,以每个角色的骨盆位置为局部坐标原点,优化角色交互建模。

3、多模块协同架构

– Sitcom-Crafter采用“核心动作生成”+“增强优化”的双类型模块架构,确保动作的多样性、流畅性和一致性。具体模块包括:

– 角色移动(Locomotion):支持角色在3D场景中自然行走。

– 角色-场景交互(Human-Scene Interaction):角色可与环境物体进行符合物理逻辑的交互。

– 角色-角色互动(Human-Human Interaction):减少角色之间的碰撞,使动作更加协调。

4、增强模块

– Sitcom-Crafter还配备了五大增强模块,进一步提升动画质量:

– 剧情解析:AI自动拆解剧本,转化为具体的角色动作指令。

– 动作同步:确保多个角色在互动时节奏匹配。

– 手势优化:智能匹配手部动作,使角色表现更加生动。

– 碰撞修正:检测并修复角色之间的潜在碰撞问题。

– 3D角色重定向:适配不同风格的3D角色模型。

5、高质量动作生成

– 实验结果表明,Sitcom-Crafter能够在多个开源3D场景中生成多样化且符合物理约束的角色动作。

Sitcom-Crafter应用前景:

1、动画制作:为电影、电视节目和虚拟现实环境提供动态背景和角色动画。

2、游戏设计:生成复杂的角色互动和场景动画,提升游戏的沉浸感和真实感。

3、广告和宣传视频:自动生成具有特定风格和主题的宣传视频,如电商主播风格的视频。

Sitcom-Crafter项目网址:

项目官网https://windvchen.github.io/Sitcom-Crafter/

GitHub仓库https://github.com/WindVChen/Sitcom-Crafter

arXiv技术论文https://arxiv.org/pdf/2410.10790