ColossalChat是使用RLHF实现LLM的项目,由Colossal-AI项目提供支持。
科蒂代表 .它是该项目中实现的模块的名称,也是ColossalChat项目开发的大型语言模型的名称。ColossalAI Talking Intelligence
Coati 包提供了一个统一的大型语言模型框架,该框架实现了以下功能
- 支持ColossalAI全面的大模型训练加速能力,无需了解复杂的分布式训练算法
- 监督数据集集合
- 监督指令微调
- 训练奖励模型
- 基于人类反馈的强化学习
- 量化推理
- 快速模型部署
- 与拥抱脸生态系统完美融合,高度的模型定制
https://chat.colossalai.org/
Code:
https://github.com/hpcaitech/ColossalAI/tree/main/applications/Chat
[1] @halomaster • 04 Apr 2023, 13:08 GMT
https://www.thepaper.cn/newsDetail_forward_22497359
[2] @halomaster • 04 Apr 2023, 13:09 GMT
训练数据集:
https://github.com/XueFuzhao/InstructionWild
[3] @halomaster • 05 Apr 2023, 09:40 GMT
Colossal-AI https://github.com/hpcaitech/ColossalAI/blob/main/docs/README-zh-Hans.md
[4] @halomaster • 05 Apr 2023, 10:12 GMT
Colossal-AI 为您提供了一系列并行组件。我们的目标是让您的分布式 AI 模型像构建普通的单 GPU 模型一样简单。我们提供的友好工具可以让您在几行代码内快速开始分布式训练和推理。
- 并行化策略
- 数据并行
- 流水线并行
- 1维, 2维, 2.5维, 3维 张量并行
- 序列并行
- 零冗余优化器 (ZeRO)
- 自动并行
- 异构内存管理 PatrickStar
- 使用友好 基于参数文件的并行化
- 推理 Energon-AI
[5] @halomaster • 05 Apr 2023, 10:54 GMT
ColossalChat:一个开源解决方案,用于克隆具有完整RLHF管道的ChatGPT
像ChatGPT和GPT-4这样的大型AI模型和应用程序已经在全球范围内变得非常流行,成为技术工业革命和AGI(通用人工智能)发展的基础。不仅科技巨头竞相发布新产品,许多来自学术界和工业界的人工智能专家也加入了相关的创业浪潮。生成式 AI 每天都在快速迭代,不断改进!
然而,OpenAI并没有将其模型开源,这让许多人对其背后的技术细节感到好奇。
我们如何才能与时俱进并参与这一技术发展浪潮?
我们如何才能降低构建和应用大型AI模型的高成本?
如何保护核心数据和IP不被第三方大型模型API泄露?
作为当今领先的开源大型AI模型解决方案,Colossal-AI率先基于LLaMA预训练模型开源了完整的RLHF管道,包括监督数据收集,监督微调,奖励模型训练和强化学习微调, 并共享ColossalChat,最实用的开源项目,与原始的ChatGPT技术解决方案非常相似!
开源地址:https://github.com/hpcaitech/ColossalAI
它包括以下内容:
演示:一个交互式演示,无需注册或加入等候名单即可在线试用。
训练代码:开源和完整的RLHF训练代码,包括7B和13B模型。
数据集:开源104K中英文双语数据集。
推理:针对 4 亿个参数模型的 7 位量化推理,只需要 4GB GPU 内存。
模型权重:只需在单个服务器上使用少量计算能力即可实现快速复制。
其他更大的模型、数据集和其他优化将快速更新和添加。
经济实惠的型号,强大的功能
ColossalChat只需要不到10亿个参数就可以达到中英文双语水平,通过RLHF在大语言模型的基础上进行微调,达到与ChatGPT和GPT-3.5相当的结果。
ColossalChat发布了一个双语数据集,其中包含大约100,000个中英文问答对。该数据集是从社交媒体平台上的现实问题场景中收集和清理的,作为种子数据集,并使用自指导技术进行扩展,注释成本约为900美元。与其他自指令方法生成的数据集相比,该数据集包含更真实和多样化的种子数据,并涵盖更广泛的主题。该数据集适用于微调和 RLHF 训练。通过提供高质量的数据,ColossalChat可以实现更好的对话互动,并且还支持中文。
https://medium.com/@yangyou_berkeley/colossalchat-an-open-source-solution-for-cloning-chatgpt-with-a-complete-rlhf-pipeline-5edf08fb538b
[6] @halomaster • 05 Apr 2023, 10:54 GMT
Colossal-AI包括低秩自适应(LoRA)方法,用于对大型模型进行低成本微调。LoRA 方法假设大型语言模型过度参数化,并且微调期间的参数更改是低秩矩阵.因此,该矩阵可以分解为两个较小矩阵的乘积。在微调过程中,大模型的参数是固定的,只调整低秩矩阵的参数,大大减少了训练所需的参数数量,降低了成本。
[7] @halomaster • 05 Apr 2023, 10:55 GMT
为了降低推理部署的成本,Colossal-AI 使用 GPTQ 4 位量化推理。在 GPT/OPT/BLOOM 模型上,与传统的 RTN(从四舍五入)量化技术相比,它可以获得更好的困惑结果。与常见的 FP16 推理相比,它可以减少 75% 的内存消耗,同时只牺牲少量的吞吐速度和困惑性能。
例如,使用 ColossalChat-7B 使用 4 位量化推理,7 亿参数模型只需要大约 4GB 的 GPU 内存即可完成短序列(128 长度生成)推理,这可以在像 RTX 3060 这样的普通消费级 GPU 上完成,只需一行代码。
[8] @halomaster • 05 Apr 2023, 10:56 GMT
我们最近发布了Colossal-AI的新开源代码,使您能够将其用作复制OpenAI流行的ChatGPT应用程序的训练过程的框架,该应用程序针对速度和效率进行了优化。
借助Colossal-AI高效实施RLHF(带有人类反馈的强化学习),您只需1.6GB的GPU内存即可开始复制ChatGPT训练过程,并在训练过程中体验7.73倍的加速。我们的开源解决方案旨在对开发人员友好,具有简单的主入口点和多种培训策略可供选择。
无论您是经验丰富的机器学习从业者、初学者还是研究人员;希望实施定制AI应用程序的初创公司;或者希望将 AI 的力量用于您的业务的企业,请继续阅读以从有价值的资源中受益,为任何有兴趣使用 Colossal-AI 复制 ChatGPT 培训过程的人提供帮助。
https://www.hpc-ai.tech/blog/colossal-ai-chatgpt
[9] @halomaster • 06 Apr 2023, 16:43 GMT
类ChatGPT项目的部署与微调(中):ChatLLaMA和ColossalChat
https://blog.csdn.net/v_JULY_v/article/details/129996493
1 of 1 pages 9 replies