当前位置: 首页 >文章 > LoRA+ControlNet|不破坏原图添加海量细节|AI绘画
收藏
分享

LoRA+ControlNet|不破坏原图添加海量细节|AI绘画

举报虎虎职场学院虎虎职场学院发布于 2023-07-151660阅读1点赞
更有画面细节!更有质感还能让新图与原图保持一致!...

上期为大家介绍了可以增强细节的LoRA模型"Add More Details - Detail Enhancer / Tweaker(细节调整)LoRA"(不了解的可先阅读此文章:https://huke88.com/article/8151.html),本期我将使用此LoRA结合ControlNet进行出图尝试,看看最终成图的效果如何。

首先我们先导入一张图片(本次将使用图生图的模式进行出图),使用DeepBooru反推提示词功能让AI系统自动填写正向提示词,通过DeepBooru我们将获得一批提示词,DeepBooru生成的提示词可以比较好的描述画面内容。


下方截图图片中是本次要优化的原图,上传原图至图生图中,将基于此图片进行后续优化。采样方法设置为DPM++ 2S a Karras,采样迭代步数(Steps):30,其余参数见下方截图。


我们启动一下LoRA模型“Add More Details - Detail Enhancer / Tweaker(细节调整)LoRA”,就是截图中的模型1“more_details”(这是文件名),LoRA权重值设置为0.7,点击出图。


从出图效果来看,人物、环境,姿态、动作、眼神等方面与原图有70%的相似度,并且整体及画面的细节更为丰富,无论是人物的衣着、发饰或是背景都有了比较丰富的变化,但是从感觉上来看,还是与原图有差异。


接下来,我们打开ControlNet选择reference_only预处理器,并且上传图片,reference_only可以很好的控制图片的元素,让新生成的图片相似度与原图保持的更统一。其余设置均为未做调整,点击“生成”。


开启ControlNet-reference_only后,虽然依旧开启LoRA模型并且权重也没有下调,但是人物几乎与原图保持99%的相似度了,但是也增添了不少细节内容,比如头饰、飘动的发尾、衣服细节、人物面部也进行了优化。

使用reference_only后,画面变得更为可控,人物不会因为开启了LoRA模型而变的偏离原图。若我们希望最终出图的效果不要太过于偏离原图时,我们可以选择ControlNet中的reference_only预处理器来帮助我们控制画面。



你不可错过的好内容

《Midjourney+Stable Diffusion 多角色图片细节放大处理|AI绘画》

https://huke88.com/article/8159.html

《TEXTUAL INVERSION模型介绍:Clutter (Mechanical)(机械)|stable diffusion》

https://huke88.com/article/8157.html

《TEXTUAL INVERSION模型推荐:badhandv4优化/改善手部细节|stable diffusion》

https://huke88.com/article/8156.html

《LoRA模型推荐:让你的出图人物/角色带上Vision Pro|stable diffusion》

https://huke88.com/article/8155.html

《LoRA模型推荐:2D/3D随心切换,让大模型在2D/动画<->3D/逼真切换|Stable Diffusion》

https://huke88.com/article/8154.html

《LoRA模型推荐:仙侠类LoRA模型 | 法天象地 | 道友,修仙吗?| Stable Diffusion》

https://huke88.com/article/8146.html

《Stable Diffusion插件:ControlNet的安装与模型下载教程》

https://huke88.com/article/8133.html

0条评论
别默默看啦~登录/注册一起参与讨论吧~

暂无评论

请选择举报理由

违反法律法规

侵犯个人权益

有害网站环境

更多训练营>>

为你推荐 · 训练营(全勤打卡报名费全额返累计全额返用户133,637人)

电商海报设计训练营
距离开班仅剩9天66人已报名
【5月】零基础手绘插画训练营
距离开班仅剩9天56人已报名
【5月】零基础动态表情包创作训练营
距离开班仅剩26天15人已报名
特惠
充值
7折购
今日还在继续学习的你,太棒了!
7
折扣券可用于
年费无限VIP
立 即
使 用
此活动优惠不可与其他活动叠加使用
有效期:000000
消息
登录即可查看消息记录
建议
意见
官方
客服
在线咨询客服热线

您可以与在线客服进行沟通获得帮助

工作日:9:00~22:00节假日:9:00~18:00

联系在线客服

您可以电话联系客服进行沟通获得帮助

工作日:9:30~18:30

400-862-9191
虎课
积分
免费学习89000+个教程!
配套素材、源文件一键下载!
昨日学员已学习了27,078
并提交了210份作业!
登录后立即学习!
loading
微信扫码关注即可登录
您需要同意协议才可以进行登录
登录虎课网,每天免费学课程全站 89000+ 视频会员教程 | 每日可免费学 1
为确保账户信息安全
请先进行真实姓名验证后进行充值付款
立即验证