[最先进的参数高效微调（PEFT）方法](https://github.com/huggingface/peft)
参数高效微调（PEFT）方法能够有效地将预训练语言模型（PLMs）适应到各种下游应用中，而不需要微调所有模型的参数。微调大规模的PLMs通常代价高昂。在这方面，PEFT方法只微调少量（额外的）模型参数，从而大大降低了计算和存储成本。最近的最先进PEFT技术实现了与完全微调相当的性能。
与 🤗 Accelerate 无缝集成，可利用 DeepSpeed 和 Big Model Inference 进行大规模模型的加速。
支持的方法：
- LoRA：LORA：大型语言模型的低秩适应
- Prefix Tuning：Prefix-Tuning：优化连续提示以进行生成，P-Tuning v2：提示调整可在各种规模和任务中与微调相媲美
- P-Tuning：GPT 也能理解
- Prompt Tuning：规模的力量，用于参数高效提示调整
目前微软的LoRA已经支持PEFT。
[1] @halomaster • 27 Mar 2023, 14:10 GMT
PEFT: 在低资源硬件上对十亿规模模型进行参数高效微调
https://zhuanlan.zhihu.com/p/610503561
https://colab.research.google.com/drive/1jCkpikz0J2o20FBQmYmAGdiKmJGOMo-o%3Fusp%3Dsharing
[2] @halomaster • 27 Mar 2023, 14:16 GMT
大型语言模型 (LLM) 的应用已经拓展到自然语言处理、计算机视觉和音频等领域。传统的微调预训练 LLM 的方式在现有消费级硬件上不再适用。参数高效微调 (PEFT) 方法解决了这个问题，通过仅微调少量额外模型参数并冻结预训练模型的大部分参数来大大降低计算和存储成本。PEFT 方法还能够提高泛化能力，同时保持性能不变。此外，PEFT 方法能够提供轻便性，即使用较小的检查点来替代全参数微调的大型检查点，实现更好的存储和部署效率。PEFT 库提供最新的参数高效微调技术，与 Transformers 和 Accelerate 无缝集成，使得能够使用最流行和高性能的模型以及简单易扩展的工具。
1 of 1 pages 2 replies