MusePose

MusePose

MusePose

MusePose 是一个基于图像生成视频的框架，专为在控制信号（如姿态）下生成虚拟人类而设计。MusePose 是 Muse 开源系列的最后一个组成部分。结合 MuseV 和 MuseTalk，该系列旨在实现从端到端生成具备全身动作和交互能力的虚拟人类。我们希望社区能和我们一起向这个愿景迈进，并期待我们的下一个里程碑！

MusePose 的使用场景

1. 虚拟人类生成 ：用于生成可以模仿人类运动和姿态的虚拟角色，在动画、游戏等领域具有广泛应用。
2. 增强现实和虚拟现实 ：在AR和VR环境中，生成与用户互动的虚拟人类增强体验效果。
3. 影视制作 ：辅助电影和电视剧制作，通过虚拟演员减少拍摄成本和时间。
4. 社交媒体和娱乐 ：创造创新内容，例如虚拟主播和虚拟偶像。

Comfyui-MusePose 安装指南

1. 如果在Linux或非管理员权限的Windows账户上运行，确保/ComfyUI/custom_nodes和Comfyui-MusePose具备写权限。
2. 按照ComfyUI手动安装步骤进行以下操作：

• 导航至/ComfyUI/custom_nodes/文件夹
• 运行 git clone https://github.com/TMElyralab/Comfyui-MusePose.git
• 导航至/ComfyUI/custom_nodes/Comfyui-MusePose文件夹并运行以下命令：

pip install -r requirements.txt

pip install –no-cache-dir -U openmim mim install mmengine mim install “mmcv>=2.0.1” mim install “mmdet>=3.1.0” mim install “mmpose>=1.1.0”

• 启动 ComfyUI

下载预训练模型

手动下载预训练模型：

1. 下载训练好的MusePose权重。
2. 下载其他组件的权重：

• sd-image-variations-diffusers
• sd-vae-ft-mse
• dwpose
• yolox - 确保重命名为 yolox_l_8x8_300e_coco.pth
• image_encoder

最终，应按如下方式组织这些权重于pretrained_weights文件夹：

./pretrained_weights/ |– MusePose | |– denoising_unet.pth | |– motion_module.pth | |– pose_guider.pth | └── reference_unet.pth |– dwpose | |– dw-ll_ucoco_384.pth | └── yolox_l_8x8_300e_coco.pth |– sd-image-variations-diffusers | └── unet | |– config.json | └── diffusion_pytorch_model.bin |– image_encoder | |– config.json | └── pytorch_model.bin └── sd-vae-ft-mse |– config.json └── diffusion_pytorch_model.bin

工作流演示

观看并下载MusePose工作流演示文件：musepose-workflow-demo.json

体验视频演示：视频链接