当前位置: 首页 >文章 > Stable Diffusion小知识:模型合并功能介绍|大模型合并
收藏
分享

Stable Diffusion小知识:模型合并功能介绍|大模型合并

举报虎虎职场学院虎虎职场学院发布于 2023-06-145466阅读21点赞1评论
仅需3步,快速合并大模型,创造属于自己的新模型...

本期要为大家介绍一下Stable diffusion中的模型合并,模型合并功能可以将二个或三个大模型合并为一个新的大模型。


功能界面介绍如截图所示:模型A为主模型,模型B和模型C都为融合进去的模型,融合结果会根据合并算法进行计算。输入模型文件名这里大家可自行输入文件名称,若留空则与模型A相同,同目录下会覆盖模型A,需注意这里文件名命名为英文。

倍率(M)主要是涉及到合并算法中的公式,M的数值需要大家自行尝试,M为0时则与模型A完全一样,一般可以从0.3~0.4开始尝试。

合并算法这里3个在界面上都有相关介绍,都是固定的选项,大家根据提示选择即可

无插值:不添加差值,仅填入模型A即可,主要用于压缩、格式转换及整合 VAE (生成自带 VAE 颜色校正的模型)

加权和:将两个模型权重的加权和作为新模型的权重,仅需要填入模型A和B,公式:A*(1-M) + B*M,倍率(M)为模型B所占比例

加上差值:将模型B与C的差值添加到模型A,需要同时填入模型A、B和C,公式:A + (B-C)*M,倍率(M)为添加的差值比例

模型(ckpt)格式,分别有“ckpt”和“safetensors”,这里建议大家选择“safetensors”模型格式。

以 float16 储存无需勾选,复制到配置文件选第一个“A,B或C”或者“不复制配置文件(推荐)”都可以。

如果原大模型中无VAE模型,这里可以从“整合入模型的 VAE”中选择一个VAE合并到大模型中。


接下来我们来实操测试一下,模型A选择了xsmix_V04模型,模型B选择了amlReal_V2,新文件名命名为:xsmix_amlReal,倍率设置为0.4,选择加权和,格式“safetensors”,点击“合并”,整合合并过程还是很快的,一般就1-2分钟就合并好了。


我们使用相同的参数设置以及相同的关键词如下:(8k, RAW photo, best quality, masterpiece:1.3),(realistic, photo-realistic:1.37), realistic skin texture, (photorealistic:1.3), (hyperrealistic:1.2),

1 cute girl, solo, ( beautiful eyes:1.2), perfect face, standing, black hair, long hair, black eyes, red lips, outdoors, 

我们跑图看一下3个模型最终的出图效果,新融合的模型“xsmix_amlReal”整体偏向于模型A“xsmix”但也吸收了amlReal的部分特点,例如眼窝更深邃一些,脸型更有棱角一些,整体融合的效果还是不错的。


我们再来尝试融合3个模型,模型A依旧是“xsmix_V04”,融合的模型分别是模型B“amlReal_V2”和模型C“dreamshaper”。融合3个模型时,合并算法要记得要选择“加上差值”


从最终出图可以看到,新融合的模型“mix_amlReal_dreamshaper”,表现效果还是挺不错的,五官的立体感更强一些,但也不失亚洲美女的容貌。


大家可以多多尝试不同的模型融合测试,可以合并出更多效果更好的模型。


你不可错过的好内容

《LoRA模型推荐:中国传统服饰合集LoRA模型集合|Stable-Diffusion》

https://huke88.com/article/8128.html

《Stable Diffusion功能介绍:载入参数/清除提示词/模型查看/保存风格模版》

https://huke88.com/article/8125.html

《Stable-Diffusion中头发颜色的关键词(TAG)效果|and语句|AI绘画》

https://huke88.com/article/8124.html

《Stable diffusion小知识:图生图-反推提示词[CLIP和DeepBooru]》

https://huke88.com/article/8122.html

《Clipdrop的Uncrop功能与Photoshop的Generative Fill效果对比|创成式填充哪家强?》

https://huke88.com/article/8127.html

1条评论
别默默看啦~登录/注册一起参与讨论吧~

暂无评论

请选择举报理由

违反法律法规

侵犯个人权益

有害网站环境

更多训练营>>

为你推荐 · 训练营(全勤打卡报名费全额返累计全额返用户133,637人)

电商海报设计训练营
距离开班仅剩9天66人已报名
【5月】零基础手绘插画训练营
距离开班仅剩9天55人已报名
【5月】零基础动态表情包创作训练营
距离开班仅剩26天15人已报名
特惠
充值
7折购
今日还在继续学习的你,太棒了!
7
折扣券可用于
年费无限VIP
立 即
使 用
此活动优惠不可与其他活动叠加使用
有效期:000000
消息
登录即可查看消息记录
建议
意见
官方
客服
在线咨询客服热线

您可以与在线客服进行沟通获得帮助

工作日:9:00~22:00节假日:9:00~18:00

联系在线客服

您可以电话联系客服进行沟通获得帮助

工作日:9:30~18:30

400-862-9191
虎课
积分
免费学习89000+个教程!
配套素材、源文件一键下载!
昨日学员已学习了27,078
并提交了210份作业!
登录后立即学习!
loading
微信扫码关注即可登录
您需要同意协议才可以进行登录
登录虎课网,每天免费学课程全站 89000+ 视频会员教程 | 每日可免费学 1
为确保账户信息安全
请先进行真实姓名验证后进行充值付款
立即验证