LoCon LyCORIS 超越LoRA的

 ✒️ @halomaster 📅 12 Mar 2023, 02:46 GMT⋮ 【AI】 

比LoRA更好的秩自适应实现稳定扩散: https://github.com/KohakuBlueleaf/LyCORIS 插件: https://github.com/KohakuBlueleaf/a1111-sd-webui-locon ``` 安装步骤: 确保已安装 LoCon 扩展 下载 https://github.com/KohakuBlueleaf/a1111-sd-webui-locon 将文件放在文件夹中 models/lora 单击 Generate 按钮下方的按钮(紫色图标)show extra networks 转到选项卡并根据需要刷新Lora 单击您要使用的那个,它将添加到提示中 确保调整权重,默认情况是:1,有点高,设置到0.5比较合适 ``` ![image.png](https://s2.loli.net/2023/03/12/nCLmhrFg3opPay1.png) https://github.com/KohakuBlueleaf/LyCORIS/blob/main/Demo.md


[1] @halomaster • 12 Mar 2023, 08:07 GMT 
https://zhuanlan.zhihu.com/p/610031713


[2] @halomaster • 13 Mar 2023, 09:22 GMT 
LoCon相对于LoRA的改进 简单来说,LoRA是一种用于大语言模型微调的方法,通过降低参数矩阵的秩来减少参数数量并保持相当的效果。而LoCon则是LoRA在卷积神经网络中的应用,通过对卷积核进行降维来减少参数数量。 ``` python # 对于卷积 self.lora_down = nn.Conv2d(in_dim, lora_dim, k_size, stride, padding, bias=False) self.lora_up = nn.Conv2d(lora_dim, out_dim, (1, 1), bias=False) # 对于全连接层 self.lora_down = nn.Linear(in_dim, lora_dim, bias=False) self.lora_up = nn.Linear(lora_dim, out_dim, bias=False) ```


[3] @halomaster • 13 Mar 2023, 10:06 GMT 
LoRA with Hadamard Product representation (LoHa) 这个算法是为联合学习设计的,但是它具有一些很酷的属性,比如它的秩小于等于矩阵维数的平方,因此它应该非常适合于参数高效的微调。 具体来说,这个算法应该是用于在分布式计算中进行联合学习的,它可以帮助多个设备共同训练一个模型,从而获得更好的结果。而这个算法的秩小于等于矩阵维数的平方,这意味着它所需要的参数数量非常少,可以在保证模型准确性的情况下,大大减少模型的计算和存储成本。因此,它非常适合于在计算资源有限的情况下进行模型微调,从而提高模型的效率和性能。 https://openreview.net/pdf?id=d71n4ftoCBy 本研究提出了一种名为FedPara的通信效率参数化方法,用于联合学习(FL),以克服频繁上传和下载模型的负担。我们的方法通过使用低秩权重和Hadamard乘积来对层的权重参数进行重新参数化。与传统的低秩参数化相比,我们的FedPara方法不受低秩限制的限制,从而具有更大的容量。这个特性使得我们的方法可以在需要的通信成本比原始层模型低3到10倍的情况下实现相当的性能,这是传统的低秩方法无法实现的。我们的方法的效率可以通过与其他高效的FL优化器结合来进一步提高。此外,我们将我们的方法扩展到个性化FL应用程序pFedPara,将参数分为全局和局部两个部分。我们展示了pFedPara优于竞争个性化FL方法,其参数数量少于三倍。 https://github.com/South-hw/FedPara_ICLR22


[4] @halomaster • 20 Mar 2023, 01:24 GMT 
Stable Diffusion web UI x Kohya's GUI:训练 LoRA 模型教学,快速上手最流行的 AI 绘图训练方式! https://mnya.tw/cc/word/1940.html


[5] @halomaster • 20 Mar 2023, 01:26 GMT 
Stable Diffusion web UI x Kohya's GUI:訓練 LoCon 模型教學,快速上手! https://mnya.tw/cc/word/1963.html


[6] @halomaster • 20 Mar 2023, 03:50 GMT 
[Lora+OffsetNoise+Lion+locon全解(基于DreamBooth可视化训练插件)[AI绘画]](https://www.bilibili.com/video/BV1sM4y1C7YZ/?vd_source=21404b521584761d805ea03813b36624)


[7] @halomaster • 20 Mar 2023, 03:51 GMT 
locon训练方式支持插件:https://jihulab.com/xiaolxl_pub/a1111-sd-webui-locon.git 云端3.0整合版部署教程:https://www.bilibili.com/video/BV1AT411S7fS/ offset-noise介绍:https://www.crosslabs.org/blog/diffusion-with-offset-noise DB插件更新功能介绍:https://github.com/d8ahazard/sd_dreambooth_extension/releases/tag/1.0.12


[8] @halomaster • 23 Mar 2023, 11:10 GMT 
【AI绘画】LoRA训练与正则化的真相:Dreambooth底层原理 https://zhuanlan.zhihu.com/p/616245445


[9] @halomaster • 26 Mar 2023, 04:59 GMT 
【合集】LoRA模型下载 https://borrowastep.net/p/-lora--rggnzkz1s


[10] @halomaster • 12 Apr 2023, 11:05 GMT 
LoCon是基于LoRA的改进,主要应用于卷积神经网络中。与LoRA相似,LoCon也是通过降低参数矩阵的秩来减少参数数量并保持相当的效果。不同之处在于,LoCon主要针对卷积层中的卷积核进行降维,从而减少参数数量。通过这种方式,LoCon可以在保持相同的性能的情况下减少卷积层的参数数量,从而提高模型的效率和训练速度。


1 of 1 pages  10 replies