拿图片给模型训练的这个过程,通常被叫做“喂图”。模型学习的内容不仅包括对具体事物的形象描绘,还包括对它们的呈现方式(画风)。如果我们喂给模型的图片都是二次元风格的,那你让它画人画风景,它都会画得像一幅二次元插画;如果喂的图片都是真实世界里的照片,那它生成的图片就是偏真实场景的。
使用不同风格的模型,就能生成不同风格的作品。
在Stable Diffusion里,模型被存储在文件夹里,如果下载了新的模型文件,需要复制到该文件下,SD就可以自动加载该模型。模型有固定的称呼,叫做checkpoint,即检查点或者关键点模型,可以理解为游戏中的存档,模型训练到某个关键位置时,就会建立一个关键点来保持已经训练的部分,以后方便回滚和继续训练。
模型通常很大,一般占用37GB,文件名后缀通常是`.ckpt`,我们常把这种GB级别的模型叫做“大模型”。还有一种大模型的后缀是`.safetensors`,占用空间会小一点,通常12GB。SD里这两种模型都可以使用。
模型加载成功后才能开始生图。
有的UI页面在模型选择栏右边有个VAE的选项,全称叫做变分自编码器,负责将加噪后的数据转换成正常的图像。可以粗略理解成AI作画的一种“调色滤镜”,最直观地影响画面的色彩质感。目前大部分新的模型已经把VAE整合进大模型文件里了,少数会没有整合的会推荐使用特定的VAE,使得生成的图片质感更好。VAE文件的放置路径是同models文件下的VAE文件夹里。可以将VAE模型的文件名修改成和对应大模型一样的名字,再在VAE选项里选择“自动”,这样就可以针对不同模型自动切换VAE。我们使用的UI没有VAE选项,故不做展开介绍。
市面上大多数SD使用者用来作图的模型,都是由个人训练并发布的,俗称“私炉模型”。大家会把训练AI学习图片生成模型这件事叫做“炼丹”,炼丹有一定的技术门槛和硬件需求,因此只有拥有一口好的“炼丹炉”才能成为炼丹师。由于版权问题,官方的炉在学习的素材来源和尺度上都有着比较大的约束,所以利用私炉作画出图时目前的主流趋势,但它的版权确实会存在争议。
目前AI绘画主流的模型下载网站有两个:Huggingface和Civitai。
市面上一些知名的模型,都可以来Huggingface搜一下看看。
- C站作为模型分享网站,不仅仅分享模型,还分享用这些模型做出来的作品。模型页面的正上方,都有一系列作者使用这个模型生成的例图,点击图片右下方的信息按钮,就会跳出对应的提示词、采样方法、随机种子等等详细的参数。如果你要抄作业,那这就是一份参考答案,可以给你产出最接近模型作者理想中的效果。
-
C站的首页还有一系列页面,例如:“Image”页面,点进去,可以欣赏到那些高赞好评的AI绘画作品,并找到它们对应的使用模型和提示词、参数。其他的页面也是一些高赞的作品。
下面介绍几种不同类型模型对应的代表模型和搜索关键词,也可以使用这些搜索关键词在Prompt中激活模型风格特性。
偏漫画、插画风格的,具有鲜明的绘画笔触质感,代表作:Anything、Counterfeit、Dreamlike Diffusion等。
搜索标签与风格关键词:illustration, painting, sketch, drawing, comic, anime, cartoon.
偏真实系、拟真化程度高的、对现实世界还原强,代表作:Deliberate、Realistic Vision、LOFI等。
搜索标签与风格关键词:photography, photo, realistic, photorealistic, RAW photo.