一、VAE概念

VAE称为”变分自编码器”(Variational Autoencoder,VAE)是由Diederik P. Kingma和Max Welling提出的一种人工神经网络结构,属于概率图模式和变分贝叶斯方法。

VAE模型有2种功能:

1、滤镜

就像是PS、抖音、美图秀秀等用到的滤镜一样,让出图的画面看上去不会灰蒙蒙的,让整体的色彩饱和度更高。

2、微调

部分VAE会对出图的细节进行细微的调整(个人觉得变化并不明显仅会对细节处微调)

Stable Diffusion在绘画过程中必需要有VAE模型,一般大模型都包含了VAE所以就不需要单独下载VAE。

二、打开VAE设置

stable-diffusion-webui 默认页面并没有显示 VAE 设置部分,所以需要先设置一下。首先点击「Settings」,然后点左侧菜单的「User interface」这个 Tab,拉到下面有个选项叫做Quicksettings list,在输入框里面添加,sd_vae,CLIP_stop_at_last_layers:

Untitled

最后点击上面的「Apply settings」,在点「Reload UI」就会重新刷新页面,即可看到头部的 VAE 区域:

Untitled

另外,顺手打开了Clip skip,在 C 站的图片参数中都有Clip skip选项,默认是 1,需要改成常用的 2,可以简单的理解这个值越高,AI 就会省略越多的分类细项。

三、使用VAE