前三期我们讲解了在Autodl如何启动Stable-Diffusion-WebUI、LoRA&ControlNet插件的安装以及大模型/LoRA模型的下载,可能大家已经开始自己的AI绘画创作了。
但发现在ControlNet中只有预处理器没有模型,导致无法正常使用。
不用担心,今天这篇文章来教大家如何进行ControlNet的模型安装以及使用。
当然大家也可以看看这3个视频课程,都是比较细节的讲解了ControlNet中预处理器与模型的使用以及新版ControlNet1.1的介绍。
ControlNet插件功能详解-Stable Diffusion:https://huke88.com/course/153071.html
ControlNet插件color、style功能详解及多ControlNet嵌套使用:https://huke88.com/course/153070.html
ControlNet1.1版本更新前瞻-Stable Diffusion:https://huke88.com/course/153070.html
本次课程基于ControlNet最新的1.1版本讲解,下载模型可以前往:https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
如果大家想要使用ControlNet1.0版本,下载安装、功能和原理都是一样的。
首先我们启动JupyterLab控制,点击学术加速后,我们开始准备下载ControlNet模型(由于云端存储空间有限,ControlNet1.0普遍比较大,大家可根据实际使用需求来下载模型),如果是本地运行的Stable-Diffusion-WebUI可以直接下载模型放入指定文件夹即可。
我们在huggingface上右键下载箭头,复制链接地址。
把下载链接和模型名称都复制到自定义链接下载框中,安装到的位置选择数据盘。然后点击下载文件,ControlNet模型就会自动开始下载了。
下载完成后,会有下载完毕的提示,这个时候,我们前往数据盘去剪切模型到指定为止即可。
我们后续将举例2个模型,分别是:control_v11p_sd15_openpose.pth 和 control_v11p_sd15_canny.pth。所以我们把这2个模型剪切到指定的文件夹(如下图所示)
文件路径:autodl-tmp/stable-diffusion-webui/extensions/sd-webui-controlnet/models/
下载完成模型后,我们启动Stable-Diffusion-webui,如果你忘了如何操作或第一次使用可以先浏览一下这篇文章(Autodl运行Stable-Diffusion-webui可以先浏览这篇文章:),然后我们点击扩散控制网络ControlNet,就可以看到ControlNet的功能了。
我们首先看一下canny的具体使用以及效果,大家可以根据截图中标注的序号进行操作。
1、点击上传一个图像,我们讲获取图像的边缘(后续我们生成的图也将根据这个边缘来生成)
2、点击勾选“启用”,这个必须要勾上,不然生成图像时,不会生效。
3、点击勾选“Allow Preview”,勾选后会在预处理器那出现一个爆炸的标志
4、选择canny边缘检测预处理器
5、选择模型“control_v11p_sd15_canny.pth”,需要注意预处理器和模型都是有对应关系的,不能选错,基本上预处理器里的关键词和模型都是对应的。
6、点击爆炸标志,我们就能看到一副黑底白边的预览效果图。
ControlNet中处理完成后,我们输入prompt等信息,然后点击生成(如果生成时的人物动作没有与ControlNet中的图片保持一致,可能是ControlNet没有启用成功,我们取消勾选启用,再勾选一下即可)
需要注意,第一次使用ControlNet时,会下载一些必要的文件,会比较慢,不用担心耐心等待即可,后续使用时不会出现这个情况(见下图)
从出图可以看到利用ControlNet,我们可以很好的控制了出图的动作、姿态、发型等等。因为这些细节都进行边缘检测都检测出来了。
当然我们也可以通过调整ControlNet中的参数,例如Control Weight降低ControlNet的权重,Starting Control Step设置在第几步介入等等来进行调整。
然后我们来看一下openpose的使用,整体的操作和canny是一样的,我们只需要把预处理器和模型选对即可(提醒:第一次使用openpose时,也会下载必要文件,会比较慢,耐心等待)
等预览图出来后,我们可以看到,使用openpose时的预览效果就和canny完全不同了,openpose生成的预览图使用一个人物的骨架,我们获取了一个人物的姿态动作。
然后点击生成图片。
因为这次仅仅是获取了人物的骨骼动作,所以在生成图片时,除开动作之外的图片效果都会脱离参考图来生成了。
OK,今天关于ControlNet的介绍就到这里了,ControlNet里有很多有趣的模型,大家可以自行多多尝试,创作出更多美图。
此外关于ControlNet1.1版本的更多信息,大家可以查看:https://github.com/lllyasviel/ControlNet-v1-1-nightly
你不可错过的好内容:
《使用Autodl进行云端部署stable-diffusion-WebUI超简单教程!》
https://huke88.com/article/8078.html
《如何在Autodl的Stable-Diffusion-WebUI中安装LoRA和ControlNet插件》
https://huke88.com/article/8080.html
《在Autodl使用Stable-Diffusion-webui下载大模型/LoRA模型》
https://huke88.com/article/8079.html
《Stable-Diffusion小知识:什么是LoRA模型?》
https://huke88.com/article/8081.html
《Stable Diffusion控制成图视图 萌新控制成图人物视角》
暂无评论
违反法律法规
侵犯个人权益
有害网站环境