上期为大家介绍了可以增强细节的LoRA模型"Add More Details - Detail Enhancer / Tweaker(细节调整)LoRA"(不了解的可先阅读此文章:https://huke88.com/article/8151.html),本期我将使用此LoRA结合ControlNet进行出图尝试,看看最终成图的效果如何。
首先我们先导入一张图片(本次将使用图生图的模式进行出图),使用DeepBooru反推提示词功能让AI系统自动填写正向提示词,通过DeepBooru我们将获得一批提示词,DeepBooru生成的提示词可以比较好的描述画面内容。
下方截图图片中是本次要优化的原图,上传原图至图生图中,将基于此图片进行后续优化。采样方法设置为DPM++ 2S a Karras,采样迭代步数(Steps):30,其余参数见下方截图。
我们启动一下LoRA模型“Add More Details - Detail Enhancer / Tweaker(细节调整)LoRA”,就是截图中的模型1“more_details”(这是文件名),LoRA权重值设置为0.7,点击出图。
从出图效果来看,人物、环境,姿态、动作、眼神等方面与原图有70%的相似度,并且整体及画面的细节更为丰富,无论是人物的衣着、发饰或是背景都有了比较丰富的变化,但是从感觉上来看,还是与原图有差异。
接下来,我们打开ControlNet选择reference_only预处理器,并且上传图片,reference_only可以很好的控制图片的元素,让新生成的图片相似度与原图保持的更统一。其余设置均为未做调整,点击“生成”。
开启ControlNet-reference_only后,虽然依旧开启LoRA模型并且权重也没有下调,但是人物几乎与原图保持99%的相似度了,但是也增添了不少细节内容,比如头饰、飘动的发尾、衣服细节、人物面部也进行了优化。
使用reference_only后,画面变得更为可控,人物不会因为开启了LoRA模型而变的偏离原图。若我们希望最终出图的效果不要太过于偏离原图时,我们可以选择ControlNet中的reference_only预处理器来帮助我们控制画面。
你不可错过的好内容
《Midjourney+Stable Diffusion 多角色图片细节放大处理|AI绘画》
https://huke88.com/article/8159.html
《TEXTUAL INVERSION模型介绍:Clutter (Mechanical)(机械)|stable diffusion》
https://huke88.com/article/8157.html
《TEXTUAL INVERSION模型推荐:badhandv4优化/改善手部细节|stable diffusion》
https://huke88.com/article/8156.html
《LoRA模型推荐:让你的出图人物/角色带上Vision Pro|stable diffusion》
https://huke88.com/article/8155.html
《LoRA模型推荐:2D/3D随心切换,让大模型在2D/动画<->3D/逼真切换|Stable Diffusion》
https://huke88.com/article/8154.html
《LoRA模型推荐:仙侠类LoRA模型 | 法天象地 | 道友,修仙吗?| Stable Diffusion》
https://huke88.com/article/8146.html
《Stable Diffusion插件:ControlNet的安装与模型下载教程》
暂无评论
违反法律法规
侵犯个人权益
有害网站环境