08 10 2023

在使用stable diffusion作画(俗称炼丹)时,为了生成生成更符合自己需要的图片,就可以结合controlnet扩展来实现,下面是我总结的各扩展模型的作用:

depth模型

  • 作用 :该模型可以识别图片主体,依据图片主体生成不同背景的图片变种,类似于抠图

  • 示例图片 :第一个为原图-- 》后面是结合 depth 模型生成的 (prompt: handsom man )

官方示例效果
  • 使用界面 :

sd参数界面
  • 生成结果 :



normal模型

  • 该模型作用和depth 模型类似

  • 示例图片 :(prompt: man in flower/house)

示例图片效果
  • 使用界面 :

sd参数界面
  • 生成结果 :

实际生成结果示例

可以看到使用该模型时,会根据原图的主题生成类似的一系列图片,并不会和depth模型一样生成同样动作的图片

canny模型

  • 作用 :通过canny 模型识别图片内容为线稿,来控制 sd 图片生成内容

  • 示例图片 :(prompt: dog in a room)

图片示例
  • 使用界面 :

  • 生成结果:

canny实际生成图片

效果和depth模型生成的类似

openpose模型

  • 作用 : 通过 openpose 模型识别人物图片的头,手,身体的姿势来控制 sd 图片的生成

  • 示例图片 :(prompt: man in suit )

示例效果
  • 使用界面 :

使用参数界面
  • 生成结果 :

实际生成效果图

可以看到生成的图片效果和原图会有相同的姿势,不同的背景


Segmentation模型

  • 作用 : 通过 segmentation 模型精准分割图片上的不同的物体和内容,并以此来控制 sd 图片的生成

  • 示例图片 :(prompt : house )

官方示例效果
  • 使用界面 :

使用参数界面
  • 生成结果 :

实际生成结果

效果和之前模型的类似



Anime Lineart模型

  • 作用 : 通过该模型识别动漫线稿,并以此控制 sd 生成类似动漫图片

  • 示例图片 :(prompt : 1girl, in classroom, skirt, uniform, red hair, bag, green eyes )

官方示例效果
  • 使用界面 :

sd使用界面参数
  • 生成结果:

实际生成效果对比

总结: 对于动漫类型图片,比 canny 模型识别更清晰,生成的图片效果更好

Shuffle模型

  • 作用:通过该模型重新对图片进行打乱重组,来生成新的图片

  • 示例图片:(prompt : hong kong )

官方示例图片
  • 使用界面 :

sd使用参数界面
  • 生成结果 :

实际生成效果对比

总结: 适用于基于原图上改进的场景,人物动作会打乱重新生成


Tile模型

  • 作用 :通过该模型可以提高原图的分辨率的同时给原图填充更多的细节,适合搭配 sd 的高清修复选项,非常适合生成4k 高质量图片

  • 示例效果 (ps:图片只截取了部分 ) :( prompt : old man );可以看到输出的图片在脸部会有更多的细节显示

官方效果对比
  • 使用界面 :

sd使用界面参数
  • 生成结果 :左为原图,右为输出图片

生成的实际效果对比

该模型适合生成高清大图,补充细节,使用频率比较高

总得来说,结合不同模型的控制特点,多尝试,以此来生成自己想要的图片。


  1. 上一篇:stable diffusion最全插件大全,新手必备指南
  2. 下一篇:stable diffusion 常用大模型解释和推荐
发表评论