当前位置: 首页 >文章 > Autodl运行Stable-Diffusion-WebUI 下载ControlNet1.1版本模型及使用
收藏
分享

Autodl运行Stable-Diffusion-WebUI 下载ControlNet1.1版本模型及使用

举报虎虎职场学院虎虎职场学院发布于 2023-04-282515阅读0点赞
AI绘画中的神器ControlNet插件 让你的AI绘画变的可控...

前三期我们讲解了在Autodl如何启动Stable-Diffusion-WebUI、LoRA&ControlNet插件的安装以及大模型/LoRA模型的下载,可能大家已经开始自己的AI绘画创作了。

但发现在ControlNet中只有预处理器没有模型,导致无法正常使用。

不用担心,今天这篇文章来教大家如何进行ControlNet的模型安装以及使用。

当然大家也可以看看这3个视频课程,都是比较细节的讲解了ControlNet中预处理器与模型的使用以及新版ControlNet1.1的介绍。

ControlNet插件功能详解-Stable Diffusion:https://huke88.com/course/153071.html

ControlNet插件color、style功能详解及多ControlNet嵌套使用:https://huke88.com/course/153070.html

ControlNet1.1版本更新前瞻-Stable Diffusion:https://huke88.com/course/153070.html


本次课程基于ControlNet最新的1.1版本讲解,下载模型可以前往:https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

如果大家想要使用ControlNet1.0版本,下载安装、功能和原理都是一样的。


首先我们启动JupyterLab控制,点击学术加速后,我们开始准备下载ControlNet模型(由于云端存储空间有限,ControlNet1.0普遍比较大,大家可根据实际使用需求来下载模型),如果是本地运行的Stable-Diffusion-WebUI可以直接下载模型放入指定文件夹即可。

我们在huggingface上右键下载箭头,复制链接地址。


把下载链接和模型名称都复制到自定义链接下载框中,安装到的位置选择数据盘。然后点击下载文件,ControlNet模型就会自动开始下载了。


下载完成后,会有下载完毕的提示,这个时候,我们前往数据盘去剪切模型到指定为止即可。


我们后续将举例2个模型,分别是:control_v11p_sd15_openpose.pth 和 control_v11p_sd15_canny.pth。所以我们把这2个模型剪切到指定的文件夹(如下图所示)

文件路径:autodl-tmp/stable-diffusion-webui/extensions/sd-webui-controlnet/models/


下载完成模型后,我们启动Stable-Diffusion-webui,如果你忘了如何操作或第一次使用可以先浏览一下这篇文章(Autodl运行Stable-Diffusion-webui可以先浏览这篇文章:),然后我们点击扩散控制网络ControlNet,就可以看到ControlNet的功能了。


我们首先看一下canny的具体使用以及效果,大家可以根据截图中标注的序号进行操作。

1、点击上传一个图像,我们讲获取图像的边缘(后续我们生成的图也将根据这个边缘来生成)

2、点击勾选“启用”,这个必须要勾上,不然生成图像时,不会生效。

3、点击勾选“Allow Preview”,勾选后会在预处理器那出现一个爆炸的标志

4、选择canny边缘检测预处理器

5、选择模型“control_v11p_sd15_canny.pth”,需要注意预处理器和模型都是有对应关系的,不能选错,基本上预处理器里的关键词和模型都是对应的。

6、点击爆炸标志,我们就能看到一副黑底白边的预览效果图。


ControlNet中处理完成后,我们输入prompt等信息,然后点击生成(如果生成时的人物动作没有与ControlNet中的图片保持一致,可能是ControlNet没有启用成功,我们取消勾选启用,再勾选一下即可)


需要注意,第一次使用ControlNet时,会下载一些必要的文件,会比较慢,不用担心耐心等待即可,后续使用时不会出现这个情况(见下图)


从出图可以看到利用ControlNet,我们可以很好的控制了出图的动作、姿态、发型等等。因为这些细节都进行边缘检测都检测出来了。


当然我们也可以通过调整ControlNet中的参数,例如Control Weight降低ControlNet的权重,Starting Control Step设置在第几步介入等等来进行调整。



然后我们来看一下openpose的使用,整体的操作和canny是一样的,我们只需要把预处理器和模型选对即可(提醒:第一次使用openpose时,也会下载必要文件,会比较慢,耐心等待)

等预览图出来后,我们可以看到,使用openpose时的预览效果就和canny完全不同了,openpose生成的预览图使用一个人物的骨架,我们获取了一个人物的姿态动作。

然后点击生成图片。



因为这次仅仅是获取了人物的骨骼动作,所以在生成图片时,除开动作之外的图片效果都会脱离参考图来生成了。


OK,今天关于ControlNet的介绍就到这里了,ControlNet里有很多有趣的模型,大家可以自行多多尝试,创作出更多美图。


此外关于ControlNet1.1版本的更多信息,大家可以查看:https://github.com/lllyasviel/ControlNet-v1-1-nightly



你不可错过的好内容:

使用Autodl进行云端部署stable-diffusion-WebUI超简单教程!

https://huke88.com/article/8078.html

《如何在Autodl的Stable-Diffusion-WebUI中安装LoRA和ControlNet插件》

https://huke88.com/article/8080.html

《在Autodl使用Stable-Diffusion-webui下载大模型/LoRA模型》

https://huke88.com/article/8079.html

《Stable-Diffusion小知识:什么是LoRA模型?》

https://huke88.com/article/8081.html

《Stable Diffusion控制成图视图 萌新控制成图人物视角》

https://huke88.com/article/8069.html

0条评论
别默默看啦~登录/注册一起参与讨论吧~

暂无评论

请选择举报理由

违反法律法规

侵犯个人权益

有害网站环境

更多训练营>>

为你推荐 · 训练营(全勤打卡报名费全额返累计全额返用户133,794人)

【6月】7天轻松入门C4D小练习
距离开班仅剩3天118人已报名
【6月】人像后期案例实操训练营
距离开班仅剩11天49人已报名
【7月】7天轻松入门C4D小练习
距离开班仅剩23天1人已报名
特惠
充值
7折购
今日还在继续学习的你,太棒了!
7
折扣券可用于
年费无限VIP
立 即
使 用
此活动优惠不可与其他活动叠加使用
有效期:000000
消息
登录即可查看消息记录
建议
意见
官方
客服
在线咨询客服热线

您可以与在线客服进行沟通获得帮助

工作日:9:00~22:00节假日:9:00~18:00

联系在线客服

您可以电话联系客服进行沟通获得帮助

工作日:9:30~18:30

400-862-9191
虎课
积分
免费学习90000+个教程!
配套素材、源文件一键下载!
昨日学员已学习了22,207
并提交了95份作业!
登录后立即学习!
loading
微信扫码关注即可登录
您需要同意协议才可以进行登录
登录虎课网,每天免费学课程全站 90000+ 视频会员教程 | 每日可免费学 1
为确保账户信息安全
请先进行真实姓名验证后进行充值付款
立即验证