VAE称为”变分自编码器”(Variational Autoencoder,VAE)是由Diederik P. Kingma和Max Welling提出的一种人工神经网络结构,属于概率图模式和变分贝叶斯方法。
VAE模型有2种功能:
1、滤镜
就像是PS、抖音、美图秀秀等用到的滤镜一样,让出图的画面看上去不会灰蒙蒙的,让整体的色彩饱和度更高。
2、微调
部分VAE会对出图的细节进行细微的调整(个人觉得变化并不明显仅会对细节处微调)
Stable Diffusion在绘画过程中必需要有VAE模型,一般大模型都包含了VAE所以就不需要单独下载VAE。
stable-diffusion-webui 默认页面并没有显示 VAE 设置部分,所以需要先设置一下。首先点击「Settings」,然后点左侧菜单的「User interface」这个 Tab,拉到下面有个选项叫做Quicksettings list
,在输入框里面添加,sd_vae,CLIP_stop_at_last_layers
:
最后点击上面的「Apply settings」,在点「Reload UI」就会重新刷新页面,即可看到头部的 VAE 区域:
另外,顺手打开了Clip skip
,在 C 站的图片参数中都有Clip skip
选项,默认是 1,需要改成常用的 2,可以简单的理解这个值越高,AI 就会省略越多的分类细项。