OpenAI GPT-OSS Recipes OpenAI GPT-OSS Recipes OpenAI GPT-OSS Recipes

OpenAI GPT-OSS Recipes

OpenAI GPT-OSS Recipes项目汇集了演示和应用OpenAI GPT-OSS 20B和120B模型优化及微调技术的脚本。该仓库的核心功能涵盖了多项推理优化，包括张量并行、Flash Attention、持续批处理以及专家并行等，旨在提升模型推理效率。此外，它还提供了一个监督式微调（SFT）脚本，支持全参数训练和LoRA（低秩适应）训练，用户可以根据需求选择模型大小，并通过配置参数灵活调整训练过程，从而实现对GPT-OSS模型的性能优化和定制化。