UltraEdit

UltraEdit 简介

UltraEdit 是一个大规模的自动生成指令图像编辑数据集，包含约400万的编辑样本。其主要目的是解决现有图像编辑数据集（如InstructPix2Pix和MagicBrush）的缺陷，并提供一种系统的方法来生成大量高质量的图像编辑样本。

优势:

1. 更广泛的编辑指令 ：通过大语言模型（LLMs）的创造力结合人类评估者的上下文编辑范例来实现。
2. 基于真实图像的数据源 ：包括照片和艺术作品，提供了比纯文本生成的图像模型更多样且更少偏见的数据。
3. 支持基于区域的编辑 ：通过高质量的自动生成区域注释来增强。

使用场景:

• 图像编辑研究 ：提供丰富多样的编辑样本，可用于训练和评估图像编辑模型。
• 学术研究 ：适用于对指令图像编辑技术进行深入研究的学术项目。
• 应用开发 ：帮助开发人员构建高级图像编辑应用，例如照片修图、艺术创作等。

训练过程:

1. 环境设置 ：

pip install -r requirements cd diffusers && pip install -e .

2. 结合不同版本Stable-Diffusion的训练 ：

• Stable-Diffusion 3 ：
• 阶段 1：自由形式图像编辑

bash scripts/run_sft_512_sd3_stage1.sh

• 阶段 2：混合训练

bash scripts/run_sft_512_with_mask_sd3_stage2.sh

• Stable-Diffusion XL ：
• 阶段 1：自由形式图像编辑

bash scripts/run_sft_512_sdxl_stage1.sh

• Stable-Diffusion 1.5 ：
• 阶段 1：自由形式图像编辑

bash scripts/run_sft_512_sd15_stage1.sh

• 阶段 2：混合训练

bash scripts/run_sft_512_with_mask_sd15_stage2.sh

示例:

以下是使用我们的管道进行图像编辑的示例。给定输入图像和遮罩图像，模型可根据提供的提示生成编辑后的结果。

import torch from diffusers import StableDiffusion3InstructPix2PixPipeline from diffusers.utils import load_image import requests import PIL.Image import PIL.ImageOps

pipe = StableDiffusion3InstructPix2PixPipeline.from_pretrained(“BleachNick/SD3_UltraEdit_w_mask”, torch_dtype=torch.float16) pipe = pipe.to(“cuda”)

prompt = “What if the horse wears a hat?” img = load_image(“input.png”).resize((512, 512)) mask_img = load_image(“mask_img.png”).resize(img.size)

对于自由形式的编辑，可以使用一个空白遮罩

mask_img = PIL.Image.new(“RGB”, img.size, (255, 255, 255))

image = pipe( prompt, image=img, mask_img=mask_img, negative_prompt="", num_inference_steps=50, image_guidance_scale=1.5, guidance_scale=7.5, ).images[0]

image.save(“edited_image.png”)

显示图像

UltraEdit 在图像编辑领域具有广泛的应用前景，为开发更智能、更高效的图像编辑工具提供了坚实的数据基础。