当前位置: 首页 >文章 > Controlnet插件:超强预处理器reference_only完美复刻图片|Stable-Diffusion|AI绘画
收藏
分享

Controlnet插件:超强预处理器reference_only完美复刻图片|Stable-Diffusion|AI绘画

举报虎虎职场学院虎虎职场学院发布于 2023-05-273553阅读0点赞
完美复刻原图效果,人物造型不走样...

Stable-Diffusion中的Controlnet插件,是一款非常有用且效果极佳的插件,无论是边缘检测或是姿态检测,都能够达到很理想的效果,在近期更新的Controlnet中reference_only绝对是一个非常实用且效果极佳的预处理器。

有了reference_only后,无需借助过程的LoRA模型或复杂的数值调整,即可使用生成出于参考图相似的图片,不仅在风格上相似,甚至于在人物容貌还原上也有很棒的效果。

简单来说,我们只需要提供一张参考图,然后给到一句关键词(Prompt "a dog running on grassland, best quality, ..."),就可以生成相似的图片了(下图来自官方介绍)

从官方介绍的图片样例中可以看到,原图是一张小狗的图片,使用非常简单的关键词,即可生成相似的小狗在奔跑的动作。


关于reference-only的官方介绍:https://github.com/Mikubill/sd-webui-controlnet/discussions/1236


想要使用reference_only预处理器的话,这里我们需要把controlnet更新到最新的版本,如果你controlnet中没有reference_only的话,可以先去升级一下controlnet版本或是删除原controlnet后重新安装最新版本。

更新完成后即可在预处理器中看到reference_only选项,选择reference_only后,是无需使用配套模型的。


接下来我们可以在controlnet中选择reference_only,选择reference_only后只有预处理器,没有模型选择。

这里简单介绍一下reference_only中的一些功能:

1、Control Weight是一个权重值,一般使用“1”也就可以,也可以调整数据测试出图效果;

2、Starting Control Step是从第几步开始;

3、Ending Control Step是在第几步结束;

以上3个在controlnet中和其他预处理器操作是一致的

4、Style Fidelity (only for "Balanced" mode)是最终要参考图片的一个权重,最小0最大1,可以根据需要调整数值;

出图前,需要勾选“启动”,建议勾选“Pixel Perfect”;


我们上传一张参考图,选择大模型“xxmin9realistic_v26”,VAE模型“vae-ft-mse-840000-ema-pruned”,采样方法(Sampler):DPM++2S a Karras,采样迭代步数(Steps):20,仅需要简单关键词“1 girl”,让我们看看出图效果。


(左侧为原图,右侧为新图),从最终出图可以看到,非常好的还原了原本人物的五官和容貌,虽然衣服、环境、头发进行了调整,但看得出来还是同一个人。并且新图在环境光照射角度上也进行了还原。

在新图完全没有使用过多的关键词以及LoRA模型的前提下,就能达到这样的效果,可以说是非常令人满意的了。


接下来,我们在测试一个二次元人物,看看reference_only是否可以进行较好的效果还原,基础的参数设置:Steps: 20, Sampler: DPM++ 2S a Karras, CFG scale: 7, Model: meinamix_meinaV9, 关键词依旧是简单的“a girl”


(左侧为原图,右侧为新图),虽然使用的大模型不同,导致最终生成的二次元人物风格上略有差别,但是无论是猫耳朵、白色头发、蓝色眼睛等方面,都得到了不错的还原。虽然画质效果略逊一筹,但只需要在关键词添加画面关键即可解决这个问题。


你不可错过的好内容

《Stable-Diffusion中二次元/真人角色发型关键词(TAG)效果展示|AI绘画》

https://huke88.com/article/8110.html

《Stable-Diffusion&ControlNet创作角色三视图|快速获取创作灵感》

https://huke88.com/article/8108.html

《Stable-Diffusion脚本:提示词矩阵的用法|快速验证出图关键词》

https://huke88.com/article/8107.html

《LoRA模型推荐:3个洛丽塔(lolita)服饰LoRA模型|Stable-Diffusion|AI绘画》

https://huke88.com/article/8103.html

《Stable-Diffusion小知识:随机种子(seed)和差异随机种子》

https://huke88.com/article/8093.html

0条评论
别默默看啦~登录/注册一起参与讨论吧~

暂无评论

请选择举报理由

违反法律法规

侵犯个人权益

有害网站环境

更多训练营>>

为你推荐 · 训练营(全勤打卡报名费全额返累计全额返用户133,637人)

电商海报设计训练营
距离开班仅剩17天48人已报名
【5月】零基础手绘插画训练营
距离开班仅剩17天31人已报名
【5月】零基础动态表情包创作训练营
距离开班仅剩34天10人已报名
特惠
充值
7折购
今日还在继续学习的你,太棒了!
7
折扣券可用于
年费无限VIP
立 即
使 用
此活动优惠不可与其他活动叠加使用
有效期:000000
消息
登录即可查看消息记录
建议
意见
官方
客服
在线咨询客服热线

您可以与在线客服进行沟通获得帮助

工作日:9:00~22:00节假日:9:00~18:00

联系在线客服

您可以电话联系客服进行沟通获得帮助

工作日:9:30~18:30

400-862-9191
虎课
积分
免费学习89000+个教程!
配套素材、源文件一键下载!
昨日学员已学习了41,218
并提交了230份作业!
登录后立即学习!
loading
微信扫码关注即可登录
您需要同意协议才可以进行登录
登录虎课网,每天免费学课程全站 89000+ 视频会员教程 | 每日可免费学 1
为确保账户信息安全
请先进行真实姓名验证后进行充值付款
立即验证