在使用stable diffusion作画(俗称炼丹)时,为了生成生成更符合自己需要的图片,就可以结合controlnet扩展来实现,下面是我总结的各扩展模型的作用:
depth模型
作用 :该模型可以识别图片主体,依据图片主体生成不同背景的图片变种,类似于抠图
示例图片 :第一个为原图-- 》后面是结合 depth 模型生成的 (prompt: handsom man )
使用界面 :
生成结果 :
normal模型
该模型作用和depth 模型类似
示例图片 :(prompt: man in flower/house)
使用界面 :
生成结果 :
可以看到使用该模型时,会根据原图的主题生成类似的一系列图片,并不会和depth模型一样生成同样动作的图片
canny模型
作用 :通过canny 模型识别图片内容为线稿,来控制 sd 图片生成内容
示例图片 :(prompt: dog in a room)
使用界面 :
生成结果:
效果和depth模型生成的类似
openpose模型
作用 : 通过 openpose 模型识别人物图片的头,手,身体的姿势来控制 sd 图片的生成
示例图片 :(prompt: man in suit )
使用界面 :
生成结果 :
可以看到生成的图片效果和原图会有相同的姿势,不同的背景
Segmentation模型
作用 : 通过 segmentation 模型精准分割图片上的不同的物体和内容,并以此来控制 sd 图片的生成
示例图片 :(prompt : house )
使用界面 :
生成结果 :
效果和之前模型的类似
Anime Lineart模型
作用 : 通过该模型识别动漫线稿,并以此控制 sd 生成类似动漫图片
示例图片 :(prompt : 1girl, in classroom, skirt, uniform, red hair, bag, green eyes )
使用界面 :
生成结果:
总结: 对于动漫类型图片,比 canny 模型识别更清晰,生成的图片效果更好
Shuffle模型
作用:通过该模型重新对图片进行打乱重组,来生成新的图片
示例图片:(prompt : hong kong )
使用界面 :
生成结果 :
总结: 适用于基于原图上改进的场景,人物动作会打乱重新生成
Tile模型
作用 :通过该模型可以提高原图的分辨率的同时给原图填充更多的细节,适合搭配 sd 的高清修复选项,非常适合生成4k 高质量图片
示例效果 (ps:图片只截取了部分 ) :( prompt : old man );可以看到输出的图片在脸部会有更多的细节显示
使用界面 :
生成结果 :左为原图,右为输出图片
该模型适合生成高清大图,补充细节,使用频率比较高
总得来说,结合不同模型的控制特点,多尝试,以此来生成自己想要的图片。