Stable-Diffusion中的Controlnet插件,是一款非常有用且效果极佳的插件,无论是边缘检测或是姿态检测,都能够达到很理想的效果,在近期更新的Controlnet中reference_only绝对是一个非常实用且效果极佳的预处理器。
有了reference_only后,无需借助过程的LoRA模型或复杂的数值调整,即可使用生成出于参考图相似的图片,不仅在风格上相似,甚至于在人物容貌还原上也有很棒的效果。
简单来说,我们只需要提供一张参考图,然后给到一句关键词(Prompt "a dog running on grassland, best quality, ..."),就可以生成相似的图片了(下图来自官方介绍)
从官方介绍的图片样例中可以看到,原图是一张小狗的图片,使用非常简单的关键词,即可生成相似的小狗在奔跑的动作。
关于reference-only的官方介绍:https://github.com/Mikubill/sd-webui-controlnet/discussions/1236
想要使用reference_only预处理器的话,这里我们需要把controlnet更新到最新的版本,如果你controlnet中没有reference_only的话,可以先去升级一下controlnet版本或是删除原controlnet后重新安装最新版本。
更新完成后即可在预处理器中看到reference_only选项,选择reference_only后,是无需使用配套模型的。
接下来我们可以在controlnet中选择reference_only,选择reference_only后只有预处理器,没有模型选择。
这里简单介绍一下reference_only中的一些功能:
1、Control Weight是一个权重值,一般使用“1”也就可以,也可以调整数据测试出图效果;
2、Starting Control Step是从第几步开始;
3、Ending Control Step是在第几步结束;
以上3个在controlnet中和其他预处理器操作是一致的
4、Style Fidelity (only for "Balanced" mode)是最终要参考图片的一个权重,最小0最大1,可以根据需要调整数值;
出图前,需要勾选“启动”,建议勾选“Pixel Perfect”;
我们上传一张参考图,选择大模型“xxmin9realistic_v26”,VAE模型“vae-ft-mse-840000-ema-pruned”,采样方法(Sampler):DPM++2S a Karras,采样迭代步数(Steps):20,仅需要简单关键词“1 girl”,让我们看看出图效果。
(左侧为原图,右侧为新图),从最终出图可以看到,非常好的还原了原本人物的五官和容貌,虽然衣服、环境、头发进行了调整,但看得出来还是同一个人。并且新图在环境光照射角度上也进行了还原。
在新图完全没有使用过多的关键词以及LoRA模型的前提下,就能达到这样的效果,可以说是非常令人满意的了。
接下来,我们在测试一个二次元人物,看看reference_only是否可以进行较好的效果还原,基础的参数设置:Steps: 20, Sampler: DPM++ 2S a Karras, CFG scale: 7, Model: meinamix_meinaV9, 关键词依旧是简单的“a girl”
(左侧为原图,右侧为新图),虽然使用的大模型不同,导致最终生成的二次元人物风格上略有差别,但是无论是猫耳朵、白色头发、蓝色眼睛等方面,都得到了不错的还原。虽然画质效果略逊一筹,但只需要在关键词添加画面关键即可解决这个问题。
你不可错过的好内容
《Stable-Diffusion中二次元/真人角色发型关键词(TAG)效果展示|AI绘画》
https://huke88.com/article/8110.html
《Stable-Diffusion&ControlNet创作角色三视图|快速获取创作灵感》
https://huke88.com/article/8108.html
《Stable-Diffusion脚本:提示词矩阵的用法|快速验证出图关键词》
https://huke88.com/article/8107.html
《LoRA模型推荐:3个洛丽塔(lolita)服饰LoRA模型|Stable-Diffusion|AI绘画》
https://huke88.com/article/8103.html
《Stable-Diffusion小知识:随机种子(seed)和差异随机种子》
暂无评论
违反法律法规
侵犯个人权益
有害网站环境