CLM-7B

CLM-7B

CLM-7B（DCLM-Baseline-7B）是一款拥有70亿参数的语言模型，该模型是基于DCLM-Baseline数据集训练的。数据集是DataComp for Language Models (DCLM)基准测试的一部分。CLM-7B旨在展示系统性数据整理技术对提升语言模型性能的效果。以下是对该模型的总结性介绍：

模型细节

• 参数量 : 70亿
• 训练语料 : 2.5兆亿 tokens
• 层数 : 32
• 隐藏层大小 : 4096
• 注意力头数 : 32
• 上下文长度 : 2048 tokens

模型描述

• 开发团队 : DCLM团队
• 模型类型 : 仅解码的Transformer语言模型
• 主要语言 : 英文
• 许可证 : Apple Sample Code License
• 发布日期 : 2024年6月

使用方式

1. 安装相关库 open_lm：

pip install git+https://github.com/mlfoundations/open_lm.git

2. 加载和使用模型：

from open_lm.hf import * from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained(“apple/DCLM-Baseline-7B”) model = AutoModelForCausalLM.from_pretrained(“apple/DCLM-Baseline-7B”)

inputs = tokenizer([“Machine learning is”], return_tensors=“pt”) gen_kwargs = {“max_new_tokens”: 50, “top_p”: 0.8, “temperature”: 0.8, “do_sample”: True, “repetition_penalty”: 1.1} output = model.generate(inputs[‘input_ids’], **gen_kwargs) output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True) print(output)

训练细节

• 架构 : 仅解码的Transformer
• 框架 : PyTorch 与 OpenLM
• 优化器 : AdamW
• 学习率 : 2e-3 (峰值)
• 权重衰减 : 0.05
• 批次大小 : 2048 sequences
• 序列长度 : 2048 tokens
• 训练硬件 : H100 GPUs

评估结果

该模型在多个任务上进行了评估，包括MMLU、HellaSwag、Jeopardy、TriviaQA等。最终得分在0到1之间，是正确答案的比例。例如，在MMLU（few-shot）任务上的得分为0.6372。

对比

与其他参数量在70亿左右的模型相比，DCLM-7B在许多任务上表现优越。例如，在核心任务（CORE）上的得分为56.1，比Llama2, DeepSeek, Falcon等模型表现出色。

限制与偏见

该模型可能包含训练数据中的偏见，且没有进行特定的对齐或安全微调，因此输出结果应谨慎使用。此外，模型的知识仅限于训练数据的截断日期。

伦理考量

用户应注意，该模型可能生成有害或具偏见的内容。在涉及对个体决策或敏感应用时，应配备适当的安全措施和人工监督。

引用

如需引用，请参见以下格式：

@article{Li2024DataCompLM, title={DataComp-LM: In search of the next generation of training sets for language models}, author={Jeffrey Li et al.}, journal={arXiv preprint arXiv:2406.11794}, year={2024} }