Genesis是一个功能强大的多用途物理模拟框架,专为机器人学、具身智能(Embodied AI)和物理智能(Physical AI)设计。英文全称 A Generative World for General-Purpose Robotics & Embodied AI Learning。
该项目的这座机构和大学:

此类生成式学习环境通常有助于加速具身AI的训练过程,通过虚拟世界中复杂而真实的模拟场景,改进AI在现实任务中的性能。Github链接 - https://github.com/Genesis-Embodied-AI/Genesis。

示例
生成4D动态物理世界
Genesis 通过基于大型语言模型(VLM)的生成代理,利用模拟基础架构提供的API作为工具,创建4D动态世界。这些世界不仅能够作为多模态数据的基础数据源,还能生成物理精确和视角一致的视频及其他数据形式。
角色动作生成
Genesis 能够生成复杂的角色动作场景,例如:
- 场景示例: 
- 一只手持棍子的迷你孙悟空在桌面上疾跑3秒,随后跃入空中,在着陆时右手挥动棍子。摄像机从他的面部特写开始,逐步跟随角色并拉远。在孙悟空跳跃到空中最高点时动作暂停几秒,摄像机绕角色360度旋转并缓缓上升,最后动作恢复。 
- 一个中国士兵跳“江南Style”舞蹈。  
机器人策略生成
Genesis 致力于通过生成式机器人代理和物理引擎,自动生成机器人在不同场景下的技能策略和示范数据。
- 机器人任务示例: 
- 一个移动的Franka机械臂使用碗和微波炉加热玉米。  
- 一个移动的Franka机械臂将地上的物品全部扔进篮子。  
- 四足机器人示例: 
- 不同步态的四足机器人运动(从模拟到现实)。 
- 四足机器人后空翻。  
3D完全交互场景生成
Genesis 支持生成完全交互的3D场景,例如:
- 一个包含客厅(带餐区)、卫生间、书房和卧室的家居室内场景。 
- 一个餐厅内部场景。 
开放世界的关节对象生成
Genesis 支持生成开放类别的关节网格资产,涵盖超出人类标注的关节对象类别。详情参见即将发表的论文。
软体机器人模拟
Genesis 支持软体或混合(软体外壳和刚性骨架)机器人模拟。
- 示例: 
- 一个“行走的茶壶”(混合模型)。 
- 一个软体抓取器拾取笔盖(MPM + 刚体)。 
语音音频、面部动画及情感生成
Genesis 能够生成与语音、面部动画和情感相关的内容:
- 示例: 
- 面部动画和语音内容:“Genesis 是一个为通用机器人/具身智能/物理AI应用设计的物理平台。”情感从中性转为愤怒,再转为愉快。 
- 支持不同面部角色和情感的泛化。 
Genesis 通过广泛的生成功能和跨模态数据支持,为机器人学、AI开发和虚拟场景模拟提供了强大的创新工具。
核心亮点
- 通用物理引擎: 
- 从零重新设计和构建。 
- 支持模拟各种材料和物理现象。 
- 集成多种物理求解器,并将其统一到一个框架中。 
轻量化、高效的机器人模拟:
- 基于 Python,使用体验友好。 
- 性能优化,运行速度极快,资源占用低。 
照片级真实感渲染:
- 提供高质量且快速的渲染能力,支持逼真的模拟效果。 
生成式数据引擎:
- 物理精确、空间一致的视频 
- 摄像机运动及参数 
- 人类和动物的角色动作 
- 可用于现实世界的机器人操作和运动策略 
- 完全交互的3D场景 
- 开放世界中的关节对象生成 
- 语音音频、面部动画及情感表达 
- 基于自然语言描述,自动生成多模态数据。 
- 数据包括: 
应用场景
- 机器人学:设计和测试可部署到现实世界的操控与运动策略。 
- AI开发:在真实感丰富、物理逼真的环境中训练具身智能。 
- 数据生成:生成复杂数据集,例如带关节的对象、语音音频、人类表情动画等,用于支持AI训练与评估。 
开源计划
Genesis 已开源其物理引擎和模拟平台,其生成式框架将逐步开放访问。平台还提供详尽的文档、教程和API参考,降低使用门槛。
性能

Genesis 是一个高度优化的物理引擎,通过 GPU 加速的并行计算实现卓越性能,并具备以下特点:
- 优化的碰撞检测: 
- 采用高效算法,减少计算开销,提升碰撞检测速度。 
自动休眠机制:
- 对于已收敛或静止的实体自动进入休眠状态,从而加速大规模场景的模拟。 
接触岛优化:
- 针对物体接触区域进行优化处理,提升计算效率。 
性能表现
- 超高模拟速度: 
- 在一个操控场景中(包含一个平面和一个 Franka 机械臂),Genesis 的运行速度达到每秒 4300 万帧,比实时模拟快 43 万倍。 
大规模模拟的加速:
- 利用自动休眠机制,在处理静态或已稳定状态的实体时显著提高模拟速度(该功能正在测试中,计划在 0.1.1 版本发布)。