摘要

鲜有人研究autoencoder和diffusion model之间的相互作用

autoencoder潜在空间中的高频分量会影响diffusion生成过程与质量

提出scale equivariance的正则化策略，在decoder中对潜在空间与RGB空间进行频率对齐

只需要改变较少的代码，20K步autoencoder的微调，就能够提高生成质量

简介

Diffusability描述了通过扩散过程对分布进行建模的难易程度：高Diffusability表示分布易于拟合，而低Diffusability则使过程更加复杂

扩散模型鼓励误差累积推迟到频谱的高频部分，但是如果autoencoder的潜在低频部分与RGB空间中的对应部分的对应关系丢失了，就会影响重建的准确性。

现有的autoencoders中的潜在空间中存在突出的高频分量，与RGB信号中的频谱分布存在明显偏离，会影响重建的RGB结果，造成明显的视觉伪影。

标准的KL正则化不足以处理频谱缺陷，甚至可能放大问题。

方法

背景：Blockwise 2D DCT

给定以为二维信号块 $\mathbf{A}\in\mathbb{R}^{B\times B}$ ，其值 $A_{xy}$ 表示在位置 $(x,y)$ 处的像素强度。二维Ⅱ型DCT产生频域块 $\mathbf{D}\in\mathbb{R}^{B\times B}$ ，其中 $D_{uv}$ 表示对应的水平和垂直余弦基底的系数：

$\begin{aligned} D_{uv} & =\alpha(u)\alpha(v)\sum_{x=0}^{B-1}\sum_{y=0}^{B-1}A_{xy}f(x,u)f(y,v), \\ & \mathrm{where}\quad\alpha(u)= \begin{cases} \sqrt{1/B}, & u=0, \\ \sqrt{2/B}, & u\neq0, & \end{cases} \\ & f(x,u)=\cos\left(\frac{(2x+1)u\pi}{2B}\right). \end{aligned}$

在实际过程中，将输入二维信号分割成无重叠的块，并对每个通道独立进行操作。

令 $\mathrm{zigzag}(u,v)\in{0,\ldots,B^{2}-1}$ 表示系数 $D_{uv}$ 按频率升序的排序。给定一个block，对它进行DCT，然后对每一个频率分量进行振幅归一化：

$A_{uv}=\left|\frac{D_{uv}}{D_{0,0}}\right|. \tag{1}$

频率轮廓图定义为按标准zigzag顺序排列的归一化振幅序列。