Step-DPO

Step-DPO

Step-DPO是一种用于增强大规模语言模型（LLMs）长链推理能力的简单、有效且数据高效的方法。它通过构建包含10K步骤偏好对的高质量数据集来实现这一目的。在有限的数据和训练步骤下，Step-DPO显著提升了模型在MATH和GSM8K上的表现。

Step-DPO的基本工作原理：

1. 数据构建 ：创建一个包含10K步骤偏好对的高质量数据集。
2. 训练方法 ：使用少量的数据和数百个训练步骤，对预训练模型进行微调。

成果和性能：

• Qwen2-7B-Instruct模型在MATH数据集上的性能从53.0%提升到58.6%，在GSM8K上的性能从85.5%提升到87.9%。
• Qwen2-72B-Instruct模型在MATH数据集上取得70.8%的成绩，在GSM8K上取得94.0%的成绩，超越了许多闭源模型如GPT-4-1106、Claude-3-Opus和Gemini-1.5-Pro。

使用场景：

1. 数学推理 ：适用于需要长链推理能力的数学问题解决，如MATH和GSM8K测试集。
2. 模型优化 ：能够有效提升各种基础模型的性能，包括Qwen、DeepSeekMath等不同大小和版本的模型。
3. 开源与闭源模型对比 ：可以在现有的开源模型基础上进行微调，超越一些闭源的高级模型。

安装与训练：

1. 安装 ：

conda create -n step_dpo python=3.10 conda activate step_dpo pip install -r requirements.txt

2. 预训练权重 ：使用Qwen2、Qwen1.5、Llama-3、DeepSeekMath等模型进行微调。
3. 微调例子 ：

ACCELERATE_LOG_LEVEL=info accelerate launch –config_file accelerate_configs/deepspeed_zero3_cpu.yaml –mixed_precision bf16
–num_processes 8
train.py configs/config_full.yaml
–model_name_or_path=“Qwen/Qwen2-72B-Instruct”
–data_path=“xinlai/Math-Step-DPO-10K”
–per_device_train_batch_size=2
–gradient_accumulation_steps=8
–torch_dtype=bfloat16
–bf16=True
–beta=0.4
–num_train_epochs=4
–save_strategy=‘steps’
–save_steps=200
–save_total_limit=1
–output_dir=outputs/qwen2-72b-instruct-step-dpo
–hub_model_id=qwen2-72b-instruct-step-dpo
–prompt=qwen2-boxed

评估：

1. 在GSM8K测试集上的评估 ：

python eval_math.py
–model outputs/qwen2-72b-instruct-step-dpo
–data_file ./data/test/GSM8K_test_data.jsonl
–save_path ’eval_results/gsm8k/qwen2-72b-instruct-step-dpo.json’
–prompt ‘qwen2-boxed’
–tensor_parallel_size 8

2. 在MATH测试集上的评估 ：

python eval_math.py
–model outputs/qwen2-72b-instruct-step-dpo
–data_file ./data/test/MATH_test_data.jsonl
–save_path ’eval_results/math/qwen2-72b-instruct-step-dpo.json’
–prompt ‘qwen2-boxed’
–tensor_parallel_size 8

Step-DPO通过简单的优化策略，大幅提升了LLMs在长链推理任务中的表现，适用于多种复杂的推理和问题解决场景。