本期要为大家介绍一下Stable diffusion中的模型合并,模型合并功能可以将二个或三个大模型合并为一个新的大模型。
功能界面介绍如截图所示:模型A为主模型,模型B和模型C都为融合进去的模型,融合结果会根据合并算法进行计算。输入模型文件名这里大家可自行输入文件名称,若留空则与模型A相同,同目录下会覆盖模型A,需注意这里文件名命名为英文。
倍率(M)主要是涉及到合并算法中的公式,M的数值需要大家自行尝试,M为0时则与模型A完全一样,一般可以从0.3~0.4开始尝试。
合并算法这里3个在界面上都有相关介绍,都是固定的选项,大家根据提示选择即可
无插值:不添加差值,仅填入模型A即可,主要用于压缩、格式转换及整合 VAE (生成自带 VAE 颜色校正的模型)
加权和:将两个模型权重的加权和作为新模型的权重,仅需要填入模型A和B,公式:A*(1-M) + B*M,倍率(M)为模型B所占比例
加上差值:将模型B与C的差值添加到模型A,需要同时填入模型A、B和C,公式:A + (B-C)*M,倍率(M)为添加的差值比例
模型(ckpt)格式,分别有“ckpt”和“safetensors”,这里建议大家选择“safetensors”模型格式。
以 float16 储存无需勾选,复制到配置文件选第一个“A,B或C”或者“不复制配置文件(推荐)”都可以。
如果原大模型中无VAE模型,这里可以从“整合入模型的 VAE”中选择一个VAE合并到大模型中。
接下来我们来实操测试一下,模型A选择了xsmix_V04模型,模型B选择了amlReal_V2,新文件名命名为:xsmix_amlReal,倍率设置为0.4,选择加权和,格式“safetensors”,点击“合并”,整合合并过程还是很快的,一般就1-2分钟就合并好了。
我们使用相同的参数设置以及相同的关键词如下:(8k, RAW photo, best quality, masterpiece:1.3),(realistic, photo-realistic:1.37), realistic skin texture, (photorealistic:1.3), (hyperrealistic:1.2),
1 cute girl, solo, ( beautiful eyes:1.2), perfect face, standing, black hair, long hair, black eyes, red lips, outdoors,
我们跑图看一下3个模型最终的出图效果,新融合的模型“xsmix_amlReal”整体偏向于模型A“xsmix”但也吸收了amlReal的部分特点,例如眼窝更深邃一些,脸型更有棱角一些,整体融合的效果还是不错的。
我们再来尝试融合3个模型,模型A依旧是“xsmix_V04”,融合的模型分别是模型B“amlReal_V2”和模型C“dreamshaper”。融合3个模型时,合并算法要记得要选择“加上差值”
从最终出图可以看到,新融合的模型“mix_amlReal_dreamshaper”,表现效果还是挺不错的,五官的立体感更强一些,但也不失亚洲美女的容貌。
大家可以多多尝试不同的模型融合测试,可以合并出更多效果更好的模型。
你不可错过的好内容
《LoRA模型推荐:中国传统服饰合集LoRA模型集合|Stable-Diffusion》
https://huke88.com/article/8128.html
《Stable Diffusion功能介绍:载入参数/清除提示词/模型查看/保存风格模版》
https://huke88.com/article/8125.html
《Stable-Diffusion中头发颜色的关键词(TAG)效果|and语句|AI绘画》
https://huke88.com/article/8124.html
《Stable diffusion小知识:图生图-反推提示词[CLIP和DeepBooru]》
https://huke88.com/article/8122.html
《Clipdrop的Uncrop功能与Photoshop的Generative Fill效果对比|创成式填充哪家强?》
暂无评论
违反法律法规
侵犯个人权益
有害网站环境