文本生成通用WebUI

 ✒️ @halomaster 📅 10 Apr 2023, 22:42 GMT⋮ 【AI】 

一个gradio web UI,用于运行大型语言模型,如LLaMA,llama.cpp,GPT-J,Pythia,OPT和GALACTICA。 它的目标是成为文本生成的AUTOMATIC1111/stable-diffusion-webui。 特性: - 用于在模型之间切换的下拉菜单 - 类似于OpenAI游乐场的笔记本模式 - 用于对话和角色扮演的聊天模式 - 与羊驼和开放助手格式兼容的指示模式 *新! - GPT-4chan 的漂亮 HTML 输出 - GALACTICA的降价输出,包括LaTeX渲染 - 自定义聊天字符 - 高级聊天功能(发送图像,使用 TTS 获取音频响应) - 非常高效的文本流 - 参数预设 - 8 位模式 - 跨 GPU、CPU 和磁盘拆分的层 - CPU模式 - 弹性世代 - DeepSpeed ZeRO-3 - 带流式处理和不流式处理的 API - LLaMA 模型,包括 4 位 GPTQ - LLaMA.cpp*新! - RWKV型号 - LoRA (加载和训练) - 软提示 - 扩展 https://github.com/oobabooga/text-generation-webui


0 replies