一个gradio web UI,用于运行大型语言模型,如LLaMA,llama.cpp,GPT-J,Pythia,OPT和GALACTICA。
它的目标是成为文本生成的AUTOMATIC1111/stable-diffusion-webui。
特性:
- 用于在模型之间切换的下拉菜单
- 类似于OpenAI游乐场的笔记本模式
- 用于对话和角色扮演的聊天模式
- 与羊驼和开放助手格式兼容的指示模式 *新!
- GPT-4chan 的漂亮 HTML 输出
- GALACTICA的降价输出,包括LaTeX渲染
- 自定义聊天字符
- 高级聊天功能(发送图像,使用 TTS 获取音频响应)
- 非常高效的文本流
- 参数预设
- 8 位模式
- 跨 GPU、CPU 和磁盘拆分的层
- CPU模式
- 弹性世代
- DeepSpeed ZeRO-3
- 带流式处理和不流式处理的 API
- LLaMA 模型,包括 4 位 GPTQ
- LLaMA.cpp*新!
- RWKV型号
- LoRA (加载和训练)
- 软提示
- 扩展
https://github.com/oobabooga/text-generation-webui
0 replies