LMFlow开源，3090单卡5小时可训练

我们很高兴地开源LMFlow代码库，其中包括了完整的大模型训练流程，能够快速、高效地训练和部署自己的语言模型。 我们的代码库不仅仅是一个简单的模型； 它包括完整的训练流程、模型权重和测试工具。 您可以使用它来构建各种类型的语言模型，包括对话模型、问答模型和文本生成模型等。 此外，我们旨在创建一个开放和民主的大模型共享平台，任何人都可以在这个平台上分享训练模型权重和经验。 我们欢迎任何对大模型感兴趣的人参与进来，与我们一起建设一个开放友好的社区！ 无论您是初学者还是专家，我们相信大家都能从这个平台中获益。让我们共同努力，建立一个充满活力和创新的大模型社区！


支持🤗 huggingface中的所有decoder models，包括LLaMA、GPT2、GPT-Neo和Galactica等，均已进行了全面测试。我们很快将支持编码器（encoder-decoder）模型。

https://zhuanlan.zhihu.com/p/620221835

LMFlow是一个用于调优和推理大规模基础模型的灵活工具箱。它旨在为用户提供友好、速度快和可靠的体验,并面向整个社区开放。该项目发布了多种模型的检查点,支持多种下游任务,并提供了详尽的文档与示例,方便用户快速上手。 该工具箱支持热门模型,如GPT-2、GPT-Neo、Galactica和LLaMA,并且易于扩展到新的模型。它提供了完整的模型训练与评估流程,从数据预处理到模型训练、优化和推理测试,用户只需要提供数据集,就可以构建自定义模型。 该项目发布了基于LLaMA和GPT-2的中英文模型检查点,但仅限研究使用,不应用于商业目的。这些资源为研究人员探索大规模语言模型提供了基础,有助于推动相关技术发展。 该项目还搭建了一个开源大规模语言模型资源共享平台,鼓励用户共享模型与经验,促进交流与创新。无论技术水平如何,该平台都可以为用户提供帮助。该项目旨在建立一个活跃且创新的大规模语言模型社区。 该项目提供的模型和代码仅作为参考,不保证精度、完整性、适用性或合法性。用户有责任确认数据和模型的准备过程,并在使用前征求法律、商业和技术意见。该项目不对用户未遵守此要求而产生的损害负责。 模型产生的结果基于概率模型,与该项目无直接关系。结果的精度、可靠性、适用性和合法性不受该项目保证。用户应意识到依赖模型结果的风险,在信任这些结果前寻求建议。该项目不对用户依赖模型结果而产生的损害负责。 我会密切关注这个项目的最新动态,并在研究与工作中积极推荐该工具包与资源。该项目也是一个非常值得学习与效仿的案例。

🚀【LMFlow上线对齐算法，支持RLHF啦】🚀 大家好！我们的LMFlow于4.10更新了对齐算法 (Alignment, 对应RLHF算法)，通过reward function排序实现了模型向人类偏好、个性化的对齐。经过充分的实验验证，该算法具有比PPO等强化学习算法更高效、更易用的特点（我们的算法偏向于前向传播，而PPO高度依赖反向梯度计算）。经过三天的测试，我们很开心的向大家介绍这个新算法，欢迎大家体验试用。相关算法文章这周会公布～ 相关文档: https://optimalscale.github.io/LMFlow/examples/raft.html