Tiny Qwen Tiny Qwen Tiny Qwen

Tiny Qwen

Tiny Qwen项目是Qwen3和Qwen2.5-VL模型的简洁易读的PyTorch重实现，它支持文本处理、视觉理解（通过Qwen2.5-VL的图像引用功能），以及稠密模型与专家混合模型（MoE）的架构。该项目致力于提供比Hugging Face代码更清晰、更易于理解的实现方式，并提供了一个交互式聊天界面以及清晰的Python代码示例，方便用户快速启动和集成。此外，它还包含了Qwen3V-4B-Preview投影层的预训练和指令调优脚本，使用户能够复现模型训练过程，突出了其在轻量化、易用性和可训练性方面的核心价值。